Uma abordagem de condução e avaliação para a disciplina de Tópicos Especiais em Sistemas de Informação com base em questões de múltipla escolha Marcelo Werneck Barbosa Departamento de Ciência da Computação PUC Minas Belo Horizonte, Brasil mwerneck@pucminas.br Lúcio Mauro Pereira Departamento de Ciência da Computação PUC Minas Belo Horizonte, Brasil lucio@pucminas.br Resumo É um desafio constante preparar melhor os alunos dos cursos de Sistemas de Informação para as exigências do mercado de trabalho e de processos avaliativos aos quais eles serão submetidos. Neste contexto, as instituições podem se organizar melhor para incluir em suas disciplinas e práticas avaliativas mecanismos que favoreçam a preparação destes alunos. Este trabalho apresenta uma abordagem de condução e avaliação para disciplinas de Tópicos Especiais ou optativas com base em avaliações por questões de múltipla escolha com vistas à melhor preparação dos alunos para futuras avaliações. A proposta já foi aplicada em três turmas com excelente aceitação e resultados. Keywords: Aspectos Metodológicos do Ensino de Computação, Processos de Avaliação na Educação Superior I. INTRODUCAO O profissional de informática tem a missão de solucionar problemas envolvendo tecnologia da informação (TI) e produzir conhecimento que leve à evolução dessa tecnologia em benefício da sociedade. A complexidade dos problemas que se apresentam ao cientista da computação tem aumentado continuamente em decorrência de estudos e desenvolvimento em outras áreas do conhecimento. Além disso, o desenvolvimento crescente do setor produtivo mostra uma tendência muito clara pelo uso de softwares cuja complexidade também é crescente, envolvendo a integração de diversas subáreas do conhecimento [1]. O profissional de TI deve estar preparado para assumir as atividades tanto do mercado de trabalho quanto da continuidade dos estudos no meio acadêmico. Esse cenário aponta para a necessidade de pesquisadores e profissionais na área de TI com elevado nível de competências. O processo ensino-aprendizagem precisa auxiliar que estudantes graduados em cursos de TI, particularmente em curso de Sistemas de Informação objeto de estudo deste trabalho, possuam as competências necessárias para resolver os problemas que lhes serão apresentados. Para verificar a adequação do processo de ensino frente às necessidades do mercado, é necessário algum instrumento de avaliação. Um exemplo de tal instrumento é o Sistema Nacional de Avaliação do Ensino Superior (SINAES) [3] e o Exame Nacional de Desempenho dos Estudantes (ENADE) [2]. O SINAES é formado por três componentes principais: a avaliação das instituições, dos cursos e do desempenho dos estudantes. O ENADE é a parte do SINAES que visa aferir o rendimento dos alunos dos cursos de graduação em relação aos conteúdos programáticos, suas habilidades e competências. Segundo [5], aproximadamente 85% dos cursos de Bacharelado em Sistemas de Informação são oferecidos por instituições privadas. Observa-se que, principalmente neste tipo de instituição, a maioria dos alunos busca uma ascensão no mercado de trabalho após a conclusão de seu curso. Sendo assim, os cursos precisam estar também focados no atendimento das demandas deste mercado. Este trabalho possui como objetivo apresentar uma proposta de mecanismo de revisão e avaliação de conteúdos assimilados em um curso de Sistemas de Informação totalmente baseado em questões de múltipla escolha. É intenção desta proposta preparar melhor os alunos prováveis formandos para o mercado de trabalho e mecanismos de avaliação que estarão sujeitos após sua formatura.. II. OS CURSOS DE SISTEMAS DE INFORMACAO Segundo uma definição clássica, Sistemas de Informação podem ser entendidos como uma combinação de recursos humanos e computacionais que se inter-relacionam para a coleta, o armazenamento, a recuperação, a distribuição e o uso de dados almejando a consecução de objetivos organizacionais (e.g. planejamento, controle, comunicação e tomada de decisão). O curso de Bacharelado em Sistemas de Informação (BSI), por sua vez, reúne aspectos da Tecnologia da Computação e da Administração e tem por objetivo
promover ao aluno a capacidade empreendedora e a capacidade de propor soluções tecnológicas para automatização de processos organizacionais, através da análise de cenários, aquisição, desenvolvimento e gerenciamento de serviços e recursos da tecnologia de informação, fornecendo apoio ao processo decisório e definição e implementação de novas estratégias organizacionais [6]. Vê-se que segundo essas definições o curso de BSI tem um perfil eminentemente interdisciplinar, com contribuições disciplinares marcantes das disciplinas Ciência da Computação e Administração. Baseando-se no Currículo de Referência para os Cursos de Computação e Informática da Sociedade Brasileira de Computação [6], as disciplinas do curso de Bacharelado em Sistemas de Informação (BSI) podem ser divididas em seis categorias específicas, discriminadas a seguir. a) Fundamentos da Computação: compreende o núcleo de matérias que envolvem a parte científica e as técnicas fundamentais à formação sólida dos egressos dos diversos cursos de computação. b) Tecnologia da Informação: compreende o núcleo que representa um conjunto de conhecimento agregado e consolidado que capacitam o aluno para a elaboração de solução de problemas nos diversos domínios de aplicação. c) Sistemas de Informação: compreende o núcleo de matérias que capacitam o aluno a utilizar os recursos de Tecnologia de Informação na solução de problemas de setores produtivos da sociedade. Essa categoria inclui as disciplinas: Gerência de projetos, Qualidade de Software, Fundamentos de SI, Teoria Geral dos Sistemas, Produtividade Pessoal com TI, Teoria e Prática dos SI, Avaliação de Sistemas, Gestão da Informação e SI, Auditoria e Segurança de SI, Trabalho Cooperativo apoiado por TI. d) Matemática: propicia a capacidade de abstração, de modelagem e de raciocínio lógico constituindo a base para várias matérias da área de Computação. e) Ciências da Natureza: desenvolvem no aluno a habilidade para aplicação do método científico. f) Contexto Social e Profissional: fornece o conhecimento sócio-cultural e organizacional, propiciando uma visão humanística das questões sociais e profissionais, em consonância com os princípios da ética em computação. A. A Disciplina de Tópicos Especiais No curso de Sistemas de Informação da PUC Minas, a disciplina de Tópicos Especiais é ofertada em fluxo contínuo pelo Instituto de Informática, com ementa em aberto e com o objetivo de abordar tópicos avançados e específicos da área de Sistemas de Informação. O tema a ser abordado deverá ser definido pelo Colegiado de cada curso, e deve atender às demandas regionais pertinentes para a formação do perfil do egresso [4]. III. A PROPOSTA DE TRABALHO PARA TÓPICOS ESPECIAIS A motivação para realização de uma nova proposta de condução para a disciplina de Tópicos Especiais nasceu de um desejo de preparar melhor os futuros egressos do curso para o mercado de trabalho e para possíveis exames a que eles irão se submeter. Nossa proposta é focada em um processo de avaliação de competências similar a processos seletivos e avaliativos que o aluno egresso irá enfrentar quando deixar a universidade. Todo o processo de avaliação é baseado em questões de múltipla escolha. Como boa parte do conteúdo programático do curso de Sistemas de Informação pertence ou está relacionada ao eixo de disciplinas de Engenharia de Software e como esta é uma área de interesse e dedicação de muitos dos alunos do curso, foi proposto rever, aplicar e praticar esses conceitos na disciplina. Pretende-se com esta forma de avaliação poder identificar as principais dificuldades dos estudantes em obter um nível de desempenho mais elevado em processos externos de avaliação, tais como ENADE, POSCOMP, concursos públicos, entre outros. Nestes termos, este processo de avaliação do desempenho dos estudantes na disciplina de Tópicos Especiais em Sistemas de Informação tem como objetivos: verificar se cada estudante desenvolveu de modo satisfatório as competências previstas ao longo do curso em disciplinas relacionadas especialmente ao eixo de Engenharia de Software; identificar os temas deste eixo nos quais os estudantes apresentaram maior dificuldade na aprendizagem a fim de orientar ações de reforço e recuperação; preparar o aluno para realizar diferentes tipos de avaliações externas à universidade às quais ele será submetido ao longo de sua vida estudantil e profissional; e orientar e estimular estudos individuais extra-classe com base nas referências bibliográficas da disciplina para promover a autonomia intelectual dos estudantes. Sendo assim, a disciplina foi conduzida tratando os conteúdos de acordo com a Tabela 1. Nesta tabela, pode-se observar o número de horas dispensadas a cada conteúdo bem como a fonte de base de preparação do material de aula e de avaliação dos mesmos. Pela grande disponibilidade de material de provas de concursos públicos, questões deste tipo foram usadas como revisão e prática dos conceitos vistos em sala e também como parte dos métodos de avaliação. Além disso, para praticar os conceitos trabalhados, também foram utilizadas questões de certificações profissionais como mostra a Tabela 1. Como existem apenas 2 provas anteriores do ENADE do curso de Sistemas de Informação, esse tipo de questão foi utilizado em menor escala. A Tabela 1 exibe ainda para quais temas trabalhados foram também exercitadas questões dos exames ENADE anteriores.
Conteúdo Gerência de Projetos Modelos de Maturidade Pontos de Função Tabela 1. Distribuição do conteúdo da disciplina Quantidade de horas Material de aula e avaliação baseado em Certificação Profissional Concursos Públicos ENADE? 8 Project Management Professional PMP 2010/2) 8 Prova de Introdução MPS.BR 2011/2) 6 IFPUG Function Point Specialist UML 8 IBM Analysis and Object Oriented RUP 6 IBM Rational Unified Process V7.0 Testes de Software Metodologias ágeis com XP e Scrum Gerência de Configuração Requisitos e casos de uso 4 Certified Test Foundation Level ISTQB 2011/2) 4 4 4 IBM Requirements Management ITIL 4 ITIL Foundation V3 2011/2) Análise essencial com DFD Diagramas Entidade Relacionamento 4 4 A avaliação da disciplina é realizada por meio de provas, simulados e listas de exercícios. A distribuição de pontos entre estes métodos de avaliação segue o demonstrado na Tabela 2. Após trabalhar alguns conteúdos, os alunos recebem listas de exercícios para treinar os conceitos vistos em sala de aula. Os alunos fazem os exercícios em casa ou em sala de aula e os mesmos são corrigidos na aula seguinte. Os pontos da lista são atribuídos em sua totalidade para os alunos que entregam a lista feita, independente do número de acertos. Ao longo do semestre, são distribuídas várias listas de exercícios. Os simulados têm como objetivo preparar melhor o aluno para uma prova. Contêm basicamente questões de diversos concursos públicos sobre os temas trabalhados em sala. Os simulados são realizados em sala de aula e corrigidos para discussão na aula seguinte. A nota é atribuída de acordo com o número de acertos do aluno. No semestre, são aplicadas 3 provas, cobrindo de modo acumulativo o conteúdo visto em sala. As provas somam 60 pontos. As listas de exercícios e os simulados somam 20 pontos cada, conforme exibido na Tabela 2. Tabela 2. Métodos de Avaliação e Distribuição de Pontos Tipo de Avaliação Quantidade Pontos Distribuídos Provas 3 60 ulados 4 20 Listas de Exercícios Ao menos uma para cada tópico Na Tabela 3, pode-se observar que durante a disciplina é trabalhado um grande número de questões, proporicionando prática na resolução de questões de múltipla escolha para nossos alunos. Foram trabalhadas 35 questões de certificações profissionais, 258 questões de concursos públicos e 14 questões do exame ENADE na primeira oferta da disciplina com este enfoque. Na segunda oferta, mais questões foram incluídas como exercícios, chegando a 72 questões de simulados de certificações profissionais e 300 questões de concursos públicos. Na oferta mais recente, foram aplicadas 365 questões múltipla escolha de concursos, 109 de certificações profissionais e 20 questões do exame ENADE. Fontes Tabela 3. Fontes de Número de (2010/2) Número de ( 20 Número de (2011/2) Certificações 35 72 109 Profissionais Concursos 258 300 365 Públicos ENADE 14 14 20 IV. O ESTUDO DE CASO Nesta seção, são apresentados e discutidos os resultados da nova proposta para a disciplina de Tópicos Especiais em Sistemas de Informação do curso de graduação de Bacharelado em Sistemas de Informação da PUC Minas. A disciplina tem sido conduzida com esta abordagem desde o segundo semestre de 2010 na unidade da cidade de Contagem.
A avaliação da disciplina foi realizada por meio de aplicação de questionário ao final do semestre. Todos os 28 alunos matriculados na disciplina na primeira oferta e os 21 da segunda e 21 da terceira responderam ao questionário e o entregaram ao professor. No total, 70 alunos participaram desta pesquisa. A seção seguinte apresenta os resultados deste questionário bem como sua análise. A. Resultados Os alunos foram questionados em relação à relevância dos temas trabalhados em sala de aula. Da lista total de temas trabalhados, foi solicitado aos alunos que escolhessem os três que consideram mais relevantes para sua formação. Na percepção deles, os temas considerados relevantes para mais de 30% da turma foram nesta ordem: Gerência de Projetos, UML e Bancos de Dados. A Figura 1 exibe os dados da percepção de relevância dos alunos para os temas trabalhos na disciplina. Figura 2. Temas sugeridos para a disciplina. Figura 1. Relevância dos temas trabalhados. Os alunos foram ainda questionados sobre alguns temas que gostariam que fossem tratados na disciplina e não foram. Neste caso, mesmo divergindo da proposta da disciplina de trabalhar temas relacionados à Engenharia de Software, foram incluídos no questionamento temas de diversas naturezas. O tema que a maioria dos alunos gostaria de incluir na disciplina foi Tecnologias Web. A Figura 2 mostra o resultado desta avaliação para os outros temas. A aprovação dos alunos em relação à nova abordagem da disciplina também foi questionada. Pode-se observar na Figura 3 que a grande maioria dos alunos aprovou a condução da disciplina bem como seus métodos de avaliação, pois acreditam que os conhecimentos revistos e aplicados na disciplina serão exigidos deles no mercado de trabalho. 27% dos alunos ainda consideram que a disciplina pode ser conduzida da mesma maneira, mas pode também abranger mais tópicos. Uma pequena parcela prefere a condução anterior trabalhando temas de tecnologia de ponta mais específicos e nenhum aluno desaprovou totalmente a condução da mesma. Figura 3. Avaliação da disciplina. Por ser uma experiência inovadora na universidade, a expectativa inicial dos alunos em relação à disciplina também foi avaliada. Como era esperado, mais da metade dos alunos esperava a abordagem de um tema técnico ou relacionado a tecnologias mais modernas. O restante admitiu ter outras expectativas ou mesmo nenhuma idéia sobre a disciplina. A Figura 4 exibe os resultados deste questionamento. Para corroborar os objetivos desta proposta e avaliar se ela está alinhada às pretensões dos nossos alunos como egressos, os mesmos foram questionados em relação aos exames que decidem se submeter após a obtenção do título. Pode-se ver pela Figura 5 que a grande maioria dos alunos deseja realizar alguma certificação profissional ou seguir a carreira pública. Uma pequena parte deseja se submeter ao exame Poscomp indicando um desejo menor, mas ainda expressivo, dos alunos pela área acadêmica e continuação dos estudos em um curso de pós graduação.
Figura 6. Evolução das notas dos simulados Figura 4. Expectativas em relação à disciplina. Figura 7. Evolução das notas das provas Figura 5. Exames pretendidos após obtenção do título. B. Acompanhamento da evolucao dos alunos Foi objetivo deste trabalho também acompanhar a evolução dos alunos ao longo do semestre para verificar se a abordagem de avaliação contínua dos conteúdos vista proporcionava melhor aprendizado dos conteúdos com o tempo. Por ser uma disciplina com métodos de avaliação diferenciados, é importante verificar se o método contribuiu para o aprendizado dos alunos. Pode-se ver pelas Figuras 6 e 7, que mostram a evolução das notas obtidas em simulados e provas respectivamente, que os alunos melhoraram seu desempenho nas avaliações ao longo do semestre. Através da abordagem de continuamente trabalhar e avaliar os conteúdos já vistos, os alunos conseguiram assimilar melhor os temas vistos. O comportamento dos gráficos mostra uma ascensão até a última avaliação. Tal ascensão pode ser explicada pelo fato de os alunos, ao final do semestre, estarem preocupados e envolvidos também com outras atividades docentes, possivelmente fazendo com que eles dedicassem menos tempo e esforço à disciplina de Tópicos Especiais. V. AÇÕES EM IMPLANTAÇÃO Na última oferta de 2011/02, foram realizadas já algumas mudanças na condução da disciplina observando o resultado dos questionários aplicados com as turmas anteriores. Podemse destacar as seguintes ações: Realização de um quiz em sala de aula com os alunos. Estes foram divididos em grupos que deveriam juntos responder a perguntas aleatórias sobre os temas trabalhados em sala de aula. O objetivo era simular um jogo de perguntas e respostas comum nas emissoras de TV. Foi utilizado o software QuestionWriter para apresentar as perguntas e o grupo tinha que apresentar a melhor opção de resposta. Os grupos eram bonificados ou penalizados com pontos no jogo. A recepção dos alunos a esta atividade lúdica foi muito boa. Foram aplicadas listas de exercícios com questões de concursos públicos dos temas Redes de Computadores e Algoritmos e Estruturas de Dados de acordo com solicitação dos alunos. Como os temas não fazem parte do objetivo da disciplina, os mesmos não foram trabalhados em sala, mas os alunos receberão questões extras para estudarem sozinhos. Foi aplicada uma lista com questões de versões recentes do exame Poscomp de acordo com desejo de alguns alunos.
VI. CONCLUSOES E TRABALHOS FUTUROS Este trabalho teve como objetivo propor e avaliar um mecanismo de revisão e avaliação de conteúdos relacionados ao eixo de Engenharia de Software em um curso de Sistemas de Informação da PUC Minas. Este mecanismo foi implantado na disciplina de Tópicos Especiais em Sistemas de Informação. A disciplina foi executada em três semestres completos e está em seu quarto semestre. A avaliação do alcance dos objetivos deste trabalho foi realizada pela análise das notas obtidas pelos alunos ao longo do curso bem como de questionário aplicado ao final do semestre. Pode-se perceber que o desempenho dos alunos nos tipos e temas de questões abordados melhorou ao longo do semestre, sendo isto um indício que o aprendizado dos mesmos aumentou durante o período. Observou-se ainda que a forma de condução e avaliação da disciplina foi muito bem recebida pelos alunos, sendo que 98,5% deles recomendaria a disciplina para um colega de curso. Os alunos da última oferta foram questionados se o foco em disciplinas de múltipla escolha e extensa prática deste tipo de questões proporciona aumento do seu aprendizado. A totalidade dos alunos concordou com esta afirmativa. Como trabalhos futuros, pretende-se aumentar o número de questões de provas passadas do POSCOMP para atender melhor aos alunos que desejam seguir carreira acadêmica. Pretende-se ainda avaliar como outros cursos de Sistemas de Informação no Brasil conduzem disciplinas optativas ou de tópicos especiais para identificar possíveis melhorias em nossa disciplina. É nosso desejo ainda acompanhar os alunos após sua formatura para conhecer seu desempenho em exames realizados após a universidade. VII. REFERENCIAS [1] Freitas, C.O.A; Scalabrin, E.; Martins, V. (2010) Uma Proposta de Processo Contínuo de Avaliação para Cursos de Ciência da Computação. XVIII Workshop de Educação em Informática (WEI) XXX Congresso da Sociedade Brasileira de Computação. Belo Horizonte Minas Gerais, 2010. [2] ENADE - Ministério da Educação. ENADE. http://portal.mec.gov.br/index.php?itemid=313&id=181&option=com_c ontent&view=article, Agosto, 2011. [3] Sinaes. Ministério da Educação. Sinaes, http://portal.mec.gov.br/index.php/?id=12303&option=com_content&vi ew=article, Agosto, 2011. [4] Projeto Pedagógico. Projeto Pedagógico Curso Sistemas de Informação PUC Minas, Fevereiro de 2011. [5] Pereira, L. Z.; Albuquerque, J. P.; Coelho, F. S. Uma Análise da Oferta e Abordagem Curricular dos Cursos de Bacharelado em Sistemas de Informação no Brasil. Workshop de Educação em Informática (WEI) Congresso da Sociedade Brasileira de Computação, 2010. [6] Sociedade Brasileira de Computação. (2003) Currículo de Referência da Sociedade Brasileira de Computação para cursos de Graduação em Ciência da Computação e Informática versão 2003.