Procedência de Dados. Disciplina de Procedência de Dados e Data Warehousing. Profa. Dra. Cristina Dutra de Aguiar Ciferri

Transcrição

1 Disciplina de e Data Warehousing Profa. Dra. Cristina Dutra de Aguiar Ciferri cdac@icmc.usp.br

2 Tópicos n Definição n Desafios de um modelo de procedência q quais dados armazenar q como coletar os dados q como armazenar q como consultar n Motivações para a procedência dos dados 2

3 Procedência dos Dados n Conjunto de metadados para identificar q As fontes q Os processos de transformação Desde a criação até o estado atual dos dados 3

4 Desafios de um Modelo de Procedência Quais dados armazenar? Como coletar? Como armazenar? Como consultar? Quatro aspectos 4

5 Quais dados de procedência armazenar? n Definição dos dados de procedência que são necessários para uma determinada aplicação 5

6 Quais dados de procedência armazenar? n Os dados de procedência recebem diferentes classificações na literatura q Source e Transformation Provenance q Why e Where Provenance q Provenance e Process Meta-Information q Perspective e Retrospective Provenance 6

7 Quais dados de procedência armazenar? n Procedência BD Integrado q Fonte e transformação Temperatura Sensor A Fonte Transformação Média(Temperatura) BD Integrado Source e transformation provenance 7

8 Quais dados de procedência armazenar? } Procedência BD Integrado Detalhamento da fonte Temperatura Média(Temperatura) Dados utilizados no cálculo da média BD Integrado Sensor A Fonte Why e Where Provenance 8

9 Quais dados de procedência armazenar? n Procedência BD Integrado q Fonte + Transformação + Informações do ambiente Transformação Temperatura Sensor A Fonte Média(Temperatura) Usuário: José Data: 10/05/2007 Ferramentas: SSH + Calculadora BD Integrado Process e Provenance Meta-Information Prospective e Retrospective Provenance 9

10 Granularidade dos dados n Identifica o nível de detalhe dos dados n Quanto menor a granularidade q Maior o custo de coleta e armazenamento q Grande variedade de consultas podem ser respondidas n Quanto maior a granularidade q Menor o custo de coleta e armazenamento q Pouca variedade de consultas podem ser respondidas 10

11 Granularidade dos dados n Ponderar o custo-benefício de armazenar um dado q Identificar os dados que devem ter a procedência armazenada q Identificar os dados de procedência que devem ser armazenados 11

12 Granularidade dos dados n Ponderar o custo-benefício de armazenar um dado q Identificar os dados que devem ter a procedência armazenada q Identificar os dados de procedência que devem ser armazenados A granularidade depende dos objetivos para o qual a procedência está sendo armazenada 12

13 Como coletar os dados de procedência? n Como q Manual x Automática n Quando q Lazy x Eager 13

14 Manual n Requer mais de tempo do usuário q Ferramentas sem suporte à procedência q Bancos de dados acurados manualmente Internet BD BD Integrado Arquivo 14

15 Automática n Coleta é transparente para usuário q Sistema de arquivos n Procedência para criar, mover, remover, alterar arquivos q SGBD n Procedência das tuplas de um tabela q Aplicação n Procedência das transformações q Serviço n Fornece serviço de coleta de procedência às aplicações 15

16 Lazy n Procedência é calculada apenas quando requisitada BD Consulta Q Resultado R SGBD 16

17 Lazy n Procedência é calculada apenas quando requisitada De onde veio esse resultado? BD Consulta Q Resultado R SGBD 17

18 Lazy n Procedência é coletada apenas quando requisitada BD Consulta Q Resultado R SGBD Consulta Q Procedência Resultado R 18

19 Eager n Procedência é coletada conforme os dados são gerados BD Consulta Q Resultado R SGBD Procedência Resultado R 19

20 Como armazenar os dados coletados? n Ligação entre dado e procedência 20

21 Ligação entre dado e procedência n Procedência pode estar armazenada q Junto com o dado n Facilita a ligação entre o dado e sua procedência Tabela Artigos Tabela de Procedência dos Artigos BD Integrado de Publicações 21

22 Ligação entre dado e procedência n Procedência pode estar armazenada q Separada do dado n Dificulta a ligação entre o dado e sua procedência Tabela Artigos Tabela de Procedência dos Artigos BD Integrado de Publicações BD de Procedência 22

23 Como consultar os dados armazenados? n Dois principais tipos de consulta: q Tipo rastreamento q Tipo filtro 23

24 Tipos de consulta n Tipo rastreamento q Consultar os dados e verificar a procedência dos mesmos q Como esse relatório foi gerado? n Tipo filtro q Consultar os dados filtrando por um determinado critério de procedência q Gerar um relatório apenas com dados advindos do Lattes 24

25 Motivações para Procedência dos Dados n n n n n Verificar histórico dos dados Assegurar a qualidade dos dados Realizar processos de auditoria e autoria dos dados Reenviar dados para as fontes Reproduzir decisões de integração dos dados 25

26 Motivações para Procedência dos Dados Verificar histórico dos dados Ex: Identificar as fontes e as versões de um dado Fonte A Artigo A Processo de Artigo A Integração Fonte B Artigo A BD integrado Relatório 2006 Título Ano... Artigo A De onde veio esse artigo? 26

27 Motivações para Procedência dos Dados Assegurar a qualidade dos dados Ex: Fontes confiáveis x Fontes não-confiáveis Fonte A Artigo A Processo de Artigo A Integração Fonte B Artigo A BD integrado Relatório 2006 Título Ano... Artigo A Esse relatório é confiável? 27

28 Motivações para Procedência dos Dados Processos de auditoria Ex: Verificar o processo de derivação de um dado Fonte A Artigo A Processo de Artigo A Integração Fonte B Artigo A BD integrado Relatório 2006 Título Ano... Artigo A Por que a Fonte B foi escolhida? Quem tomou essa decisão? 28

29 Motivações para Procedência dos Dados Processos de autoria Ex: Verificar o responsável por um dado Fonte A Artigo A Processo de Artigo A Integração Fonte B Artigo A BD integrado Relatório 2006 Título Ano... Artigo A Quem é o responsável pelos dados desse artigo? 29

30 Motivações para Procedência dos Dados Reenviar dados para as fontes Ex: As fontes podem ser retificadas com os dados integrados Fonte A Artigo A Processo de Artigo A Integração Fonte B Artigo A BD integrado Relatório 2006 Título Ano... Artigo A Ok. Os dados do artigo A estão corretos! 30

31 Motivações para Procedência dos Dados Reproduzir decisões de integração dos dados Ex: As fontes não podem ser retificadas com os dados integrados n Fontes de Dados q q são apenas para leitura (read-only) sempre fornecem os mesmos dados inconsistentes n Problema q necessidade de realizar a integração novamente, o que pode gerar diferentes decisões para um mesmo problema de integração e gasto adicional de tempo para prover o processo de integração 31