PreservaAon Watch: um sistema de suporte à preservação digital

Transcrição

1 PreservaAon Watch: um sistema de suporte à preservação digital José Carlos Ramalho KEEP SOLUTIONS Luís Faria KEEP SOLUTIONS Miguel Ferreira KEEP SOLUTIONS Encontro Internacional de Arquivos Évora, Portugal,

2 KEEP SOLUTIONS: Projetos DigitArq, CRAV (2003..[ ]) RODA (2006..[2008- [) RCAAP (2008- ) PPA (2009) Open source: RODA, KOHA, DSpace, Moodle, etc. ScienAfic research SCAPE: Preservação digital em larga escala 4C: previsão de custos na preservação digital e- ark: desenvolvimento de um modelo de referência europeu baseado no OAIS hpp:// This work was par,ally supported by the SCAPE Project. The SCAPE project is co- funded by the European Union under FP7 ICT (Grant Agreement number ). 2

3 Parceiros This work was par,ally supported by the SCAPE Project. The SCAPE project is co- funded by the European Union under FP7 ICT (Grant Agreement number ). 3

4 Monitorização da Preservação Digital 4

5 Porque necessitamos de monitorização? Obsolescência do formato Novas normas Novas tecnologias emergentes Repositório PolíTca insttucional Missão insttucional Corrupção binária Capacidade dos recursos Disponibilidade do sistema Quebras de segurança Metodologias dos produtores Tendências dos consumidores Limitações económicas Fatores polítcos e sociais 5

6 Porque necessitamos de monitorização? Obsolescência do formato Novas normas Novas tecnologias emergentes Repositório PolíTca insttucional Missão insttucional Corrupção binária Capacidade dos recursos Disponibilidade do sistema Quebras de segurança Metodologias dos produtores Tendências dos consumidores Limitações económicas Fatores polítcos e sociais 6

7 Porque necessitamos de monitorização? PolíTca insttucional Novas normas Obsolescência do formato Repositório Corrupção binária Capacidade dos recursos Novas tecnologias emergentes Riscos Metodologias dos produtores Missão insttucional Disponibilidade do sistema Quebras de segurança Tendências dos consumidores Limitações económicas Fatores polítcos e sociais 6

8 Porque necessitamos de monitorização? PolíTca insttucional Missão insttucional Novas normas Obsolescência do formato Repositório Corrupção binária Capacidade dos recursos Disponibilidade do sistema Quebras de segurança Novas tecnologias emergentes Riscos Metodologias dos produtores Oportunidades Tendências dos consumidores Limitações económicas Fatores polítcos e sociais 6

9 SCAPE Estado da Arte Digital Format Registries Automatic Obsolescence Notification System (AONS) Relatórios de vigilância tecnológica 7

10 SCAPE Estado da Arte Digital Format Registries Falta de cobertura Riscos genéricos definidos estaticamente Riscos não estruturados Focado na obsolescência do formato AONS Totalmente dependente dos registos de formato Relatórios de vigilância tecnológica Inacessíveis às máquinas (elegíveis) 8

11 Avaliação de Risco Sim, mas manualmente e ad hoc Não 40% Participantes: 60% 9

12 Monitorização Automatic Manual None Bitstream integrity Format obsolescesce Ingest Access Organization Format registries Experimentation Consumers Producers Technology 0% 20% 40% 60% 80% 100% 10

13 SCAPE O que é necessário? Precisamos de informação! De todo o lado e de toda a gente Partilhando Escalabilidade e usabilidade Dados estruturados Vocabulário controlado 11

14 Scout Uma nova aproximação 12

15 ? Scout Tool Format Name Name Version PRONOM ID Renders Mime type License License PRONOM 13

16 SCAPE Objetivos Coletar informação de várias fontes Permitir a introdução manual de dados Base de dados centralizada para suporte à preservação digital Permitir que os utilizadores coloquem questões Notificar os utilizadores quando ocorrem mudanças ou eventos significativos 14

17 Problemas Um Repositório alberga conteúdos Uma Organização tem políacas em curso (e.g. não são permiados conteúdos comprimidos) P1: Será que os conteúdos respeitam as políticas vigentes? Há algum risco associado? Mesmo que conteúdo, política e ambiente estejam em constante mudança? Encontramos um risco na preservação digital! P2: Como decidiremos a ação a tomar mantendo os requisitos de confiança e autenticidade? This work was par,ally supported by the SCAPE Project. The SCAPE project is co- funded by the European Union under FP7 ICT (Grant Agreement number ). 15

18 Saber que ação tomar Mais problemas P3: Como monitorizar a qualidade da ação tomada e como garantir que os invariantes de preservação se mantêm? Os conteúdos crescem exponencialmente em volume, heterogeneidade e complexidade P4: Como implementar a preservação digital em sistemas de grande escala (big data)? This work was par,ally supported by the SCAPE Project. The SCAPE project is co- funded by the European Union under FP7 ICT (Grant Agreement number ). 16

19 Scout: a preservaton watch system Monitoriza facetas do mundo para detetar riscos e oportunidades de preservação Triple store Interoperabilidade Data Connector & Report API SCAPE Policy model PRONOM Web semanac extracaon Renderability experiments Interface Web Alertas: templates e SPARQL NoAficações por Demo: hpp://scout.scape.keep.pt Content Policies Registries Scout Risk notification Web Human knowledge hpp://openplanets.github.io/scout/ This work was par,ally supported by the SCAPE Project. The SCAPE project is co- funded by the European Union under FP7 ICT (Grant Agreement number ). 17

20 Ciclo de vida da preservação: cenário ideal access, ingest, harvest Environment and users monitored environment and users monitored content and events monitored actions Watch Policies create/re-evaluate plans Repository execute action plan Operations deploy plan Planning This work was par,ally supported by the SCAPE Project. The SCAPE project is co- funded by the European Union under FP7 ICT (Grant Agreement number ). 18

21 Ciclo de vida da preservação: na prátca access, ingest, harvest Environment and users monitored environment and users monitored content and events monitored actions Scout Watch Policies create/re-evaluate plans Repository execute action plan deploy plan Planning Plato Operations Workflow engine This work was par,ally supported by the SCAPE Project. The SCAPE project is co- funded by the European Union under FP7 ICT (Grant Agreement number ). 19

22 API para transferência de dados (interoperabilidade) Permite aceder e modificar conteúdos no repositório HTTP REST API Methods: Retrieve enadade inteletual, metadados, representação, ficheiro ou bit stream Ingest enadade inteletual (sync ou async) Update enadade inteletual, representação ou ficheiro Search enadades, representações ou ficheiros (SRU) Especificação da API: hpps://github.com/openplanets/scape- plavorm- api Implementação de ref.: Fins de 2013 no Fedora 4 e no RODA This work was par,ally supported by the SCAPE Project. The SCAPE project is co- funded by the European Union under FP7 ICT (Grant Agreement number ). 20

23 API de relato Dá acesso aos eventos do repositório Eventos: Ingestão: início e fim Visualização ou descarga: metadados descriavos ou representações Execução de planos de preservação Fornecedor OAI- PMH Metadados PREMIS associados aos eventos Agent: quem acionou o evento Date/Ame: quando é que o evento ocorreu Details: que aconteceu API: hpps://github.com/openplanets/scape- plavorm- api Implementação de ref.: hpps://github.com/openplanets/roda This work was par,ally supported by the SCAPE Project. The SCAPE project is co- funded by the European Union under FP7 ICT (Grant Agreement number ). 21

24 hpp://scout.scape.keep.pt

34 Conclusions P1: Será que os conteúdos respeitam as políticas vigentes? Há algum risco associado? Mesmo que conteúdo, política e ambiente estejam em constante mudança? S1: Utilize o Scout: preservation watch system This work was par,ally supported by the SCAPE Project. The SCAPE project is co- funded by the European Union under FP7 ICT (Grant Agreement number ). 23

35 Conclusions P2: Como decidiremos a ação a tomar mantendo os requisitos de confiança e autenticidade? S2: Utilize o Plato: preservation planning tool This work was par,ally supported by the SCAPE Project. The SCAPE project is co- funded by the European Union under FP7 ICT (Grant Agreement number ). 24

36 Conclusions P3: Como monitorizar a qualidade da ação tomada e como garantir que os invariantes de preservação se mantêm? S3: Q&A in preservation plans (Plato), monitoring of Q&A (Report API & Scout), automatic Scout triggers created by Plato This work was par,ally supported by the SCAPE Project. The SCAPE project is co- funded by the European Union under FP7 ICT (Grant Agreement number ). 25

37 Conclusions P4: Como implementar a preservação digital em sistemas de grande escala (big data)? S4: Automação e integração dos processos de preservação. Caso de estudo do SCAPE: FITS + C3PO This work was par,ally supported by the SCAPE Project. The SCAPE project is co- funded by the European Union under FP7 ICT (Grant Agreement number ). 26

38 Scout: Suporte de ualizadores Mais conetores Mais templates para alertas Plato: Roadmap Criação automáaca de alertas no Scout Publicação automáaca usando a API de gestão Implementações de um Repositório de referência: RODA e Fedora 4 This work was par,ally supported by the SCAPE Project. The SCAPE project is co- funded by the European Union under FP7 ICT (Grant Agreement number ). 27

39 Conclusions Todas as APIs estão publicadas Implementações de referência: RODA e Fedora 4 Todas as ferramentas disponíveis no Github Adiciona uma política de preservação ao teu repositório já! This work was par,ally supported by the SCAPE Project. The SCAPE project is co- funded by the European Union under FP7 ICT (Grant Agreement number ). 28

40 Ecossistema de Preservação

41 História dum ciclo de vida de Preservação (parte 1) Um Repositório tem conteúdos A Organização tem políacas em vigor (e.g. não permiar compressão) Formaliza as políacas Usa o Scout para monitorizar a conformidade Carrega as políacas no Scout Cria adaptadores para o teu repositório Cria alertas Recebe noaficações: há ficheiros comprimidos! Usa o C3PO para analisar em detalhe o problema Podes ter que dividi- lo em problemas mais pequenos This work was par,ally supported by the SCAPE Project. The SCAPE project is co- funded by the European Union under FP7 ICT (Grant Agreement number ). 30

42 História dum ciclo de vida de Preservação (parte 2) Usa o Plato para encontrar uma solução para o problema: Carrega as políacas: objeavos automáacos Encontra ferramentas alternaavas automaacamente Testa as ferramentas automaacamente com amostras de conteúdo Encontra a melhor alternaava Cria um plano automaacamente com documentação, ações e Q&A Envia o plano diretamente ao repositório e os alertas ao Scout Executa o plano no motor de workflow O Repositório executa o plano diretamente no motor de workflow Os resultados são agregados através da API do conetor de dados As ações de preservação e as Q&A são enviadas ao Scout via a API de relato O Scout deteta os riscos que têm de ser resolvidos This work was par,ally supported by the SCAPE Project. The SCAPE project is co- funded by the European Union under FP7 ICT (Grant Agreement number ). 31

43 Questões? José Carlos Ramalho Consultor / Investigador jcr@keep.pt / jcr@di.uminho.pt ARQUIVOS BIBLIOTECAS MUSEUS