SQL Server Data Quality Services Diogo Rodrigues Cabral (drc2)
Roteiro O Conceito Data Quality Server Formas de Entrada de Dados Base de Conhecimento Domínio Concluindo a Base de Conhecimento com Domínios Projeto de Qualidade de Dados Funcionalidades do DQS Limpeza de Dados Correspondência de Dados Conclusão Referências
Data Quality Server Responsável por, junto com o Client Data Quality, fazer o DQS rodar de forma independente ao SQL Server. Responsável por suportar todas as funcionalidades do DQS Deve ser instalado anteriormente a execução do client, pois a sua instalação é a parte da instalção do SQL Server
Formas de Entrada de Dados Suporta basicamente três formas de entrada de dados
Base de Conhecimento Dados de referência de confiança do DQS. Criada pelo usuário a partir das formas de entrada. Uma base completa e rica possuí vários domínios (quanto o projeto necessite), regras de validação, correção e padronização.
Domínio Estruturas base onde estão representadas de fato as regras lógicas que vão ser utilizadas nas funcionalidades do DQS Existem dois tipos: simples e compostos
Domínio Domínio Simples: Contém os valores que povoam a base de conhecimento Contém as relações e regras para esse domínio específico Domínio Composto: Conjunto formado por dois ou mais domínios simples Permite regras de cruzamento, ou seja, utilização da lógica clássica entre os domínios participantes do conjunto
Domínio Regras de domínio: regras de proximidade de palavras (termbased related) regras de valores de domínio (domain values) regras de domínio (domain rules)
Criando um domínio simples
Valores de domínio podem ser colocados manualmente ou importados de um arquivo Excel
Nome do domínio Regra Incluída Lógica da regra
Criando um domínio composto
Nome do domínio composto Nome da regra Lógica da regra
Domínio Reference data Nesta aba, podemos coletar dados de referência para nosso domínio via web (Online Reference Data Providers Catalog). Para que isso seja habilitado, uma Windows Azure Marketplace Account Key é necessária, para ser inserida no campo DataMarket Account ID.
Concluindo a base de conhecimento com domínios Com os domínios mapeados para as colunas vindas de uma table ou view SQL ou planilha Excel, temos que povoar a base de conhecimento com os dados. Os dados que não respeitarem as regras determinadas nos domínios simples e compostos serão alterados automaticamente ou serão submetidos a decisão humana.
Após completar a importação, podemos manusear os dados, caso eles forem importados com sucesso. O manuseio é feito na página Manage Domain Values
Manage Domain Values
Concluindo a base de conhecimento com domínios Após finalizada a etapa de domínios e base de conhecimento, o DQS está preparado para começar a fazer suas funcionalidades a fim de melhorar alguma base de dados analisando em relação a essas bases de referência.
Projeto de Qualidade de Dados Base de trabalho do DQS Dados escolhidos para serem melhorados em relação a base de dados
Limpeza de Dados Analisa a qualidade de dados de uma fonte de dados Benefícios: verifica se os dados estão incorretos ou inconsistentes em relação a base de dados verifica se os dados estão dentro das regras definidas previamente corrige automaticamente ou manualmente os dados
Correspondência de Dados Funcionalidade que permite, até antes da limpeza com regras gerais, fazer regras mais específicas com graus de compatibilidade com o que está na fonte de dados Pode ter a interação de vários domínios, usando eles como referências e prérequisitos Ao final da execução, serão exibidas apenas as linhas que bateram, devido as similaridades, com as regras descritas
Conclusão Ferramenta muito poderosa e de muito potencial no mercado Ainda pouco difundida Vem acompanhando as novas versões do SQL Server e a proposta é melhorar o que já existe
Conclusão
Referências Data Quality Services (DQS) in SQL Server 2012 Webinar. Disponível em: https: //www.youtube.com/watch?v=kcto28lhaqo. Acesso em 20/10/2014, 15:32 Microsoft Developer Network Data Quality Services. Disponível em: http://msdn. microsoft.com/ptbr/library/ff877925(v=sql.110).aspx. Acesso em 23/10/2014, 18:20 Introduction to DQS. Disponível em: http://blog.sqlauthority.com/2012/09/04/sqlserverstepbystepguidetobeginningdataqualityservicesinsqlserver2012introductiontodqs. Acesso em 24/10/2014, 21:13 Tutorial by Microsoft DQS. Disponível em: http://msdn.microsoft.com/ptbr/library/jj819782.aspx. Acesso em 01/10/2014, 22:04
Dúvidas?
SQL Server Data Quality Services