SQL Server Data Quality Services. Diogo Rodrigues Cabral (drc2)

Transcrição

1 SQL Server Data Quality Services Diogo Rodrigues Cabral (drc2)

2

3 Roteiro O Conceito Data Quality Server Formas de Entrada de Dados Base de Conhecimento Domínio Concluindo a Base de Conhecimento com Domínios Projeto de Qualidade de Dados Funcionalidades do DQS Limpeza de Dados Correspondência de Dados Conclusão Referências

4

5 Data Quality Server Responsável por, junto com o Client Data Quality, fazer o DQS rodar de forma independente ao SQL Server. Responsável por suportar todas as funcionalidades do DQS Deve ser instalado anteriormente a execução do client, pois a sua instalação é a parte da instalção do SQL Server

6 Formas de Entrada de Dados Suporta basicamente três formas de entrada de dados

7 Base de Conhecimento Dados de referência de confiança do DQS. Criada pelo usuário a partir das formas de entrada. Uma base completa e rica possuí vários domínios (quanto o projeto necessite), regras de validação, correção e padronização.

8

9

10

11 Domínio Estruturas base onde estão representadas de fato as regras lógicas que vão ser utilizadas nas funcionalidades do DQS Existem dois tipos: simples e compostos

12 Domínio Domínio Simples: Contém os valores que povoam a base de conhecimento Contém as relações e regras para esse domínio específico Domínio Composto: Conjunto formado por dois ou mais domínios simples Permite regras de cruzamento, ou seja, utilização da lógica clássica entre os domínios participantes do conjunto

13

14 Domínio Regras de domínio: regras de proximidade de palavras (termbased related) regras de valores de domínio (domain values) regras de domínio (domain rules)

15

16 Criando um domínio simples

17 Valores de domínio podem ser colocados manualmente ou importados de um arquivo Excel

18

19 Nome do domínio Regra Incluída Lógica da regra

20

21 Criando um domínio composto

22 Nome do domínio composto Nome da regra Lógica da regra

23 Domínio Reference data Nesta aba, podemos coletar dados de referência para nosso domínio via web (Online Reference Data Providers Catalog). Para que isso seja habilitado, uma Windows Azure Marketplace Account Key é necessária, para ser inserida no campo DataMarket Account ID.

24 Concluindo a base de conhecimento com domínios Com os domínios mapeados para as colunas vindas de uma table ou view SQL ou planilha Excel, temos que povoar a base de conhecimento com os dados. Os dados que não respeitarem as regras determinadas nos domínios simples e compostos serão alterados automaticamente ou serão submetidos a decisão humana.

25 Após completar a importação, podemos manusear os dados, caso eles forem importados com sucesso. O manuseio é feito na página Manage Domain Values

26 Manage Domain Values

27 Concluindo a base de conhecimento com domínios Após finalizada a etapa de domínios e base de conhecimento, o DQS está preparado para começar a fazer suas funcionalidades a fim de melhorar alguma base de dados analisando em relação a essas bases de referência.

28 Projeto de Qualidade de Dados Base de trabalho do DQS Dados escolhidos para serem melhorados em relação a base de dados

29

30

31 Limpeza de Dados Analisa a qualidade de dados de uma fonte de dados Benefícios: verifica se os dados estão incorretos ou inconsistentes em relação a base de dados verifica se os dados estão dentro das regras definidas previamente corrige automaticamente ou manualmente os dados

32

33

34

35

36

37 Correspondência de Dados Funcionalidade que permite, até antes da limpeza com regras gerais, fazer regras mais específicas com graus de compatibilidade com o que está na fonte de dados Pode ter a interação de vários domínios, usando eles como referências e prérequisitos Ao final da execução, serão exibidas apenas as linhas que bateram, devido as similaridades, com as regras descritas

38

39

40 Conclusão Ferramenta muito poderosa e de muito potencial no mercado Ainda pouco difundida Vem acompanhando as novas versões do SQL Server e a proposta é melhorar o que já existe

41 Conclusão

42 Referências Data Quality Services (DQS) in SQL Server 2012 Webinar. Disponível em: https: // Acesso em 20/10/2014, 15:32 Microsoft Developer Network Data Quality Services. Disponível em: microsoft.com/ptbr/library/ff877925(v=sql.110).aspx. Acesso em 23/10/2014, 18:20 Introduction to DQS. Disponível em: Acesso em 24/10/2014, 21:13 Tutorial by Microsoft DQS. Disponível em: Acesso em 01/10/2014, 22:04

43 Dúvidas?

44 SQL Server Data Quality Services