Balanço da Equipa Sigiq - Síntese Fevereiro 2011

Sistema de Garantia Interna de Qualidade Definição de referenciais Reciclagem activa de informação Produção de Informação Planos de melhoria Recolha Informação Arquivo e Disponibilização Processamento Integrado e relacional Auto-avaliação Disseminação Área Gestão de Pessoas Área Mobilidade e Relações Internacionais Unidades Académicas Área de Estudantes e Empregabilidade Área Biblioteca e Gestão de Informação Projecto Avaliação do Centro de Serviços Partilhado Projecto Avaliação do Programa de Mobilidade de Estudantes Projecto Melhoria da Qualidade do Ensino Projecto Observatório de Empregabilidade Projecto Sistema de Informação de Actividade Projecto docente de Melhoria e científica do Ensino Novos Inquéritos Avaliação Qualitativa do Pedagógicos Internacional - OCDE Ensino 1 Um Sistema Integrado. Participado. Que Promove e Garante a Qualidade. Avaliação 20 de Outubro 2010 Francisca M. Basto Joana Cunha e Costa Balanço da Equipa Sigiq - Síntese Fevereiro 2011

Equipa (composição ao longo do ano) Elementos estáveis: Francisca Basto e Joana Cunha e Costa Apoio administrativo: Pedro Leal (administrativo nível 4 qualificação) entrou em Junho; fez interregno de 1,5 meses; está em tempo parcial de 6 horas por dia. Sai em meados de Abril. Estatística: Joana Cabral saiu em final de Julho; Hélder Alves entrou em Novembro (4 horas por dia). Este relatório está organizado por processos. 1. Processos de Acreditação junto da a. A intensidade do acompanhamento e apoio ao processo pela Equipa Sigiq na elaboração dos pedidos de acreditação diminuiu progressivamente. Fica a preocupação em manter a disponibilidade para apoiar a resolução de dificuldades, o registo dos processos e visão global. Mantém-se o apoio ao Presidente (informação, análise de propostas, ). b. Processos de Avaliação Externa/Auto-avaliação: em Dezembro-Janeiro de 2011, a Equipa Sigiq envolveu-se directamente nos dois processos de auto-avaliação solicitados pela. Para ambos os casos assumiu as reuniões de avaliação com os docentes e com os estudantes, com sínteses consensualizadas entre os mesmos. No caso do ICS participou ainda na avaliação pelos docentes externos. No caso das Ciências da Educação, foi assumido um papel mais intenso com participação global no processo juntamente com os Coordenadores e os docentes do Ciclo de Estudos. Tabela de Estado dos Processos de Acreditação Unidade Académica Escola das Artes (3 áreas : Arte, Música, Som e Imagem) Escola de Direito Dez. 2009 Mar. 2010 Dez.2010 Ciclo NCE Resultado Processos CEF Estado dos Processos 1º ciclo 0 -- 3 Aguardam decisão 2º ciclo 2 1 Acreditação 7 Aguardam decisão 1 Acred. Condicionada 3º ciclo 2 1 Acred. Condicionada 1 Não Acreditação 2 Aguardam decisão 1º ciclo 0 1 Aguardam decisão 2º ciclo 1 Acreditação 1 Aguardam decisão CE não submetidos NCE Parcerias 1 NCE 2ºC parceria com FEG; CE com Acred. Condicionada não entrou em funcionamento 1 0 NCE parceria com FEG

Unidade Académica Escola Superior de Biotecnologia Faculdade Economia Gestão de e Dez. 2009 Mar. 2010 Dez.2010 Ciclo NCE Resultado Processos CEF Estado dos Processos CE não submetidos 3º ciclo 0 1 Aguardam decisão 1º ciclo 1 Acreditação 3 Aguardam decisão 2º ciclo 0 -- 4 Aguardam decisão 3 0 3º ciclo 0 -- 0 -- 0 1 NCE Parcerias 1º ciclo 0 -- 2 Aguardam decisão 0 3 2º ciclo 3 3 Acreditação 6 0 2 1 NCE 2010 em parceria com ESB; 1 NCE 2009 não entrou em funcionamento 1º ciclo 0 -- 1 Aguarda decisão Faculdade Educação Psicologia Faculdade Teologia Instituto Bioética Instituto Ciências Saúde de e de de de da 2º ciclo 0 -- 3 Aguardam decisão 1 CEF em parceria com EA 3º ciclo 1 Não Acreditação 1 Em avaliação. Auto-avaliação fechada. 1º ciclo 0 1 Aguarda decisão 2º ciclo 0 3 Aguardam decisão 3º ciclo 0 1 Aguardam decisão 3º ciclo 0 -- 1 Aguarda decisão 1º ciclo 0 -- 1 1 0 2º ciclo 0 -- 4 Aguardam decisão 3º ciclo 0 -- 2 1 Aguarda decisão 1 Em avaliação. Auto-avaliação fechada. 48 41 Aguardam decisão; 2 Avaliação Externa Totais 10 6 Acreditação 2 Acred. Condicionada 2 Não Acreditação 5 6

2. Avaliação interna do Ensino a. Questionários Pedagógicos: avaliação de unidades curriculares i. Desenvolvimento e aprovação de novos questionários; primeira aplicação Num trabalho mais intenso em Julho e Setembro, um conjunto de interlocutores de todas as UA com a equipa Sigiq, desenvolveu uma proposta: compõe-se de um conjunto de questionários, o mais homogéneos entre si, na estrutura e, sempre que possível, nas próprias perguntas. Os diferentes corpos docentes e as Associações de Estudantes foram consultados através de reuniões e correio electrónico; foram feitos ainda ajustes e a sua aplicação no final do 1º semestre foi feita sem problemas significativos. Em nenhum caso foram adicionadas mais de 3 questões opcionais num questionário. Estamos a receber os primeiros resultados da leitura óptica e foram detectados efeitos imprevistos a serem corrigidos (quando um professor dá a uma mesma turma mais do que um tipo de aulas passou a ser avaliado apenas por uma secção de Avaliação de Aulas e Docência; perdeu-se assim a discriminação da sua intervenção em tipos de aulas diferentes). ii. Tratamento de resultados e entrega dos resultados dos Questionários Pedagógicos (avaliação de unidades curriculares e docentes pelos alunos) Leitura Óptica A entrega dos resultados por parte da Fundação Manuel Leão foi feita de forma heterogénea. Após um primeiro período de acerto de modos de controlo das transacções (de papel e ficheiros), foram feitas entregas com elevada qualidade. Porém, já posteriormente houve períodos de entregas desorganizadas e com lacunas. Mantém-se o esforço de afinar procedimentos de controlo, particularmente no forncedor. Tratamento de resultados e entrega aos docentes, regentes e coordenadores Ao longo deste ano foram desenvolvidas 6 aplicações informáticas para a produção dos relatórios individuais dos docentes. O cronograma da entrega real de resultados tem vindo a ser o seguinte: 2010 Entregas Relatórios Questionários Pedagógicos 2009-10 Abril 1º semestre Escola de Direito, 1º e 2º ciclo Maio 1º semestre F. Economia e Gestão. 1º ciclo Julho 1º semestre F. Economia e Gestão. 2º ciclo e relatórios de Regente 1º semestre F. Educação e Psicologia, 1º e 2º ciclo da área de Psicologia Outubro 1º e 2º semestre Escola das Artes, 1º, 2º e 3º ciclos 1º e 2º semestre Faculdade de Teolofia, 1º, 2º e 3º ciclos Novembro 2º semestre Escola de Direito, 1º e 2º ciclo 2º Semestre F. Economia e Gestão, 1º e 2º ciclos

Janeiro Março 2011 2º semestre F. Educação e Psicologia, 1º e 2º semestre Ciências da Educação 1º e 2º semestre Escola Superior de Biotecnologia (está em ajustamentos com a Direcção) 1º semestre Instituto Ciências da Saúde b. Processos de avaliação qualitativa O objectivo de abranger todo o ensino graduado pelos processos de avaliação levou a identificação de situações que, pelas suas características, não se adequam a métodos quantitativos padronizados. Quando as situações de número reduzido de estudantes a responder aos questionários se estendem a cursos inteiros ou a áreas de cursos com peso, tem sido adoptado um processo de avaliação qualitativo. Em todos os casos, é proposto aos estudantes um procedimento de aprovação/correcção das sínteses feitas pelo Sigiq para apresentação formal do documento à Direcção. c. Observatório da Empregabilidade Estudantes e Empregabilidade 2010 resultados alcançados As taxas de resposta foram normais para este tipo de aplicação, entre 20 e 30%. Porém, com algumas áreas em que cada curso tem poucos diplomados por ano, as amostras tornaram-se pequenas e pouco representativas, combinação que coloca uma enorme quantidade de dificuldades no tratamento de informação e na apresentação de resultados. Em Junho as UA receberam um relatório trabalhado em forma gráfica (tinha a finalidade de ser passível de ser utilizado em acções de comunicação externa) e em Julho, um relatório informativo com toda a informação conseguida. Foram feitas, por duas docentes da FEG da área de Economia do Trabalho, tentativas de construção de um modelo de probabilidades (predição da empregabilidade a partir de variáveis de percurso académico também pedidas) que praticamente não produziu resultados de valor analítico. 2011 Está a ser cumprido o plano proposto. Em Janeiro de 2011 foi aplicado um questionário parcimonioso com 29 perguntas no total mas organizado por perfis de respondentes. Foi desenhado para produzir um conjunto de indicadores quantitativos descritivos robusto (categorias claras e abrangência das diferentes situações) e algumas possibilidades de relacionamento entre variáveis de percurso e 1º impacto da formação na empregabilidade dos diplomados Católica.Porto. A sua versão on-line foi desenvolvida numa plataforma aberta da Web, pelos técnicos de Estudantes e Empregabilidade/Sigiq, com algum apoio do STI. Foi um processo que demorou cerca de 3 a 4 semanas onde o peso dos percalços e imprevistos foi imensamente reduzido face ao ano anterior.

A Área de EE assumiu o encargo de colmatar a amostra alcançada pela aplicação on-line através de inquérito por telefone. Objectivos: 100% para 15 ou menos diplomados, 80% para os restantes. Os resultados alcançados no geral correspondem aos objectivos mas há variações colocadas pela dificuldade de se conseguir contactos efectivos e a disponibilidade dos diplomados (sobretudo quando o objectivo era 100%). Estamos comprometidos com o seguinte calendário que vamos cumprir: 15 Março entrega de Relatório de resultados por Unidade Académica e publicação dos resultados globais. 15 Abril Relatório Católica.Porto 3. Caracterização da actividade das unidades académicas: recolha de informação sobre a actividade do corpo docente e de investigadores Ficheiro RH_Individual transferência de cv de docentes para o DeGóis Numa parceria com a Área de Biblioteca e Gestão da Informação, e com a chancela do Presidente, foi lançado um processo massivo de recolha de informação e produção científica, artística e técnica junto do corpo docente e de investigadores. O processo assumiu como finalidades: Objectivos assumidos: 1) Promover o preenchimento dos dois sistemas nacionais de informação académica e de produção científica o RCAAP e o DeGóis; 2) Constituir uma base interna de dados da actividade dos docentes, nas diferentes áreas (ensino, investigação e relações com a comunidade). 3) Articular os dois processos de modo a fazer um único pedido de informação aos docentes. O estabelecimento de categorias de informação e o formato de recolha materializaram-se num ficheiro Microsoft Excel organizado numa estrutura de 7 folhas temáticas: 1. Instruções 2. Identificação e % dedicação (por tipo de actividade) 3. Publicações e Comunicações (o único no qual foi pedido historial completo desde que publicado com chancela UCP) 4. Júris e Avaliações 5. Pertença a Órgãos Académicos 6. Orientações Finalizadas 7. Actividade Académica não lectiva 8. Actividade Científica, Artística e Técnica Calendário Inicialmente, foram definidos dois prazos para a entrega dos ficheiros pelos docentes e investigadores. Um primeiro, 30 Setembro, para o preenchimento da folha Publicações e Comunicações com a entrega dos

respectivos ficheiros para carregamento do Repositório RCAAP da UCP Veritati; um segundo prazo para a entrega do ficheiro completamente preenchido - 2 Novembro. Porém, a verificação dos resultados alcançados permitiu perceber que ter apenas uma parte preenchida, longe de um preenchimento de 100%, não permitiria constituir uma base de dados útil para a construção de indicadores de produção e para a caracterização da actividade das diferentes Unidades Académicas. Assim, foi mantido o esforço, na generalidade das Unidades Académicas, por parte de interlocutores e direcções, no sentido de ir alcançando o preenchimento progressivo por todos os docentes. Os níveis de sucesso variam como se pode ver na tabela seguinte. A opção pelo formato de ficheiro Excel é muito económica em recursos e permite um grau de homogeneização das categorias utilizadas já interessante. Trata-se, no entanto, de um formato pouco amigável para a diversidade e a quantidade de informação que estava a ser pedida (particularmente aos docentes mais velhos para o preenchimento do RCAAP foi pedida toda a história e documentos relativos a publicações e comunicações. A adesão foi variável nas diferentes escolas. De qualquer modo, podemos dizer que se trata de um movimento com muitas dificuldades. Algumas escolas já optaram por circunscrever as listas de docentes e investigadores a tomar em consideração. O fecho deste processo precisa de ser definido, assim como é necessário tirar ilações para as próximas edições. Resultados medidos por extracção a 20 Fevereiro 1. Níveis de preenchimento do ficheiro RH_Individual O gráfico que se segue ilustra (em valor absoluto) os números de docentes que efectuaram o preenchimento do ficheiro RH_Individual. Gráfico 1 - Ponto da situação quanto ao preenchimento ficheiro RH

4. O sistema de informação SIGIQ Foi desenvolvido um documento Sistema de Informação Sigiq que estabelece as necessidades, inputs e objectivos do mesmo. Em colaboração com a Área de Sistemas e Tecnologia de Informação, foi feita uma consulta a duas empresas tendo já sido apresentada uma proposta. Trata-se de uma proposta que apresenta uma visão do sistema global e que se propõe desenvolver, nesse quadro, a automatização de todo o processo de aplicação e tratamento dos questionários pedagógicos. Há dificuldades em estabelecer um sistema de salvaguarda dos relatórios até agora produzidos. Novos esforços junto do STI serão feitos. Esta é uma área crítica para a operacionalização do sistema de qualidade funcionar como sistema de melhoria contínua e para tornar possível a produção de resultados úteis em tempo útil com um consumo de recursos humanos restrito. 5. Qualidade de Ensino 2010-11 Das várias iniciativas propostas foi realizada a avaliação de três iniciativas pedagógicas inovadoras no enquadramento do projecto Teaching Quality do IMHE e organizado um pacote de formação interna de docentes. a. Teaching quality Institute for Management of Higher Education OCDE Uma equipa de dois avaliadores, Fabrice Hénard e Gabor Halasz, fizeram uma avaliação de três iniciativas pedagógicas inovadoras apresentadas pela Católica. Porto Iniciativas seleccionadas: PIC Portefólio individual de Competências (FEG) desenvolvimento e avaliação de competências transversais numa estratégia integrada no curriculum; Projecto Comunitário da licenciatura em Psicologia (FEP) organização de actividades de âmbito profissional em contexto de trabalho voluntário em IPSS (cerca de 60 a 70 envolvidas anualmente); Clínica de Enfermagem projectos com a comunidade (ICS) Práticas de Ensino Clínico em contextos sociais alargados. O Relatório ficou pronto no final do ano passado. A primeira tentativa feita de disseminação interna ainda apenas das 3 experiências pedagógicas em foco, não obteve adesão significativa (workshops-almoço incluído no pacote de oferta formativa aos docentes); foram frequentados pelos elementos das três equipas, entre si. É necessário avançar com a sua divulgação. Está em estudo a estratégia.

b. Oferta de formação a docentes-1º levantamento de necessidades Perante a necessidade de se avançar com uma política de formação interna para docentes, a Equipa Sigiq assumiu a tarefa de fazer uma primeira pesquisa de práticas e oferta de formação em termos de ensino superior internacional com apresentação de resultados aos Directores. Com um primeiro e conciso levantamento de necessidades, foi assegurada a organização da oferta de um primeiro pacote de cursos Junho/Julho 2010. Para assegurar rapidez de organização, e contando com a colaboração de diversos docentes e colaboradores internos, foi consolidado um pacote de formação realizada em Junho e Julho de 2010: 13 cursos dedicados ao domínio da plataforma Blackboard campus virtual (em três níveis de dificuldade, 3 workshops dedicados a métodos e técnicas pedagógicas e 3 almoços-workshops para apresentação das três iniciativas inovadoras em avaliação pelo IMHE da OCDE. Com organização prévia da equipa Sigiq, a sua operacionalização e logística foi assegurada pela área da Formação Contínua. A função foi passada à Faculdade de Educação e Psicologia. 6. Manual da Qualidade: construção e estabilização de modelos Está desenvolvido um Modelo de Manual da Qualidade (Francisca Basto). As suas fichas de Processo e Procedimento foram revistas e testadas em conjunto com as interlocutoras Sigiq para o Centro de

Serviços Partilhados (Teresa Lopes e Cláudia Cunha). Porém, está por fazer o trabalho da sua aplicação e utilização mais extensiva. Esta etapa exige uma disponibilidade não só da equipa Sigiq como de toda a organização que não parece ter sido ainda encontrada. Terá de ser desenvolvida uma estratégia progressiva para a sua adopção. Talvez este esforço a solicitar faça mais sentido depois da face mais visível do sistema se desenvolver mais, depois de todos verem resultados em consequência do esforço já desenvolvido. 7. Avaliação Intermédia do Plano Estratégico No Verão de 2010, o Presidente solicitou um processo de avaliação intermédia do Plano Estratégico 2009-13 que integrasse uma avaliação do Centro de Serviços Partilhados. No processo de criação do CSP, ficou definida e documentada a sua actividade (processos) e modo de organização em cada área mas não ficaram definidos os objectivos de cada uma. Perante a necessidade de assumir como objectivo desta primeira avaliação do CSP (uma estrutura de 4 Direcções e 12 Áreas especializadas), o desenvolvimento de um sistema de avaliação operacional para a sua avaliação cíclica no futuro, foi apresentado um plano de processo mas também foi solicitado apoio técnico especializado externo à equipa. Devido ao período de restrições financeiras que vivemos, a procura e aprovação deste apoio externo, assim como interno na Faculdade de Economia e Gestão, tem sofrido vicissitudes várias com revisões do plano aprovado. Neste momento, está em desenvolvimento uma proposta simplificada que propõe deixar trabalho de base para o desenvolvimento futuro de um sistema cíclico. Para as Unidades Académicas, o processo está simplificado por estarem vigentes os seus Plano Directores, definidos com detalhe no plano operacional. A Equipa sigiq irá organizar a disponibilização prévia de informação sobre os processos e os resultados do ensino oferecido por cada UA. Para além dos resultados de dois anos de Observatório da Empregabilidade, produzirá sínteses de resultados dos questionários pedagógicos, a caracterização de estudantes e docentes, alguns indicadores de sucesso nos cursos. 8. Comunicação e disseminação de informação definição e implementação A comunicação interna e a disseminação de informação continuaram a ser feitas através de E-mail, reuniões, intranet paltaforma Sharepoint. No lançamento dos novos questionários sairam notícias e exemplares na Newsletter de Estudantes e Empregabilidade aos alunos. É necessário disponibilizar aos diferentes públicos internos (Direcções e responsáveis de oferta formativa, Conselhos Cinetíficos e pedagógicos, docentes, estudantes, Centro de Serviços Partilhados) a informação pertinente e útil para cada nível de responsabilidade e envolvimento na qualidade. A Intranet foi criada no 2º semestre do ano passado tendo como finalidade principal dar acesso aos relatórios individuais de docentes a Directores e Coordenadores da Oferta formativa. As plataformas de partilha de informação são muito rígidas para dar acesso a informação actualizada por perfis de utilizadores pois não permitem cruzamentos entre níveis pelo que procuramos soluções integradas. O site está pronto para ser testado e tornado público após revisão. O seu foco é, nas circunstâncias actuais, a comunidade interna. Dar a conhecer o Sigiq, os seus instrumentos e procedimentos, os resultados

alcançados. É uma função que está por cumprir e é essencial: mostrar os resultados, mostrar que o sistema é consequente. Esteve pensada inicialmente, a ligação entre o site internet e a intranet. Porém, desenvolver e actualizar a disponibilização da informação de acordo com os perfis de utilizadores torna-se muito difícil pela rigidez estrutural do Sharepoint. Procuramos assim soluções tecnológicas que estabeleçam ligação directa entre o sistema de produção de informação e aquele que a torna acessível aos seus utilizadores. 9. Extensão do sigiq a outras tipologias de formação da Católica.porto Este ano foram integradas já algumas pós-graduações (Faculdade de Teologia e F. Educação e Psicologia). A avaliação da Formação de Curta Duração pelo Sigiq não avançou por falta de tempo disponível da equipa responsável por esta área para a estruturação prévia do processo. Contamos com uma maior automatização do processo para propor uma integração extensiva da actividade educativa no sistema de avaliação.