Ana Carolina Salgado Fábio Ávila ETL

Transcrição

1 Ana Carolina Salgado Fábio Ávila ETL

2 Opções para ETL Integration Services (SSIS) Import and Export Data Wizard Transact-SQL Utilitário bcp Replicação

3 Tipos de ETL Full: apaga todos os registros e carrega novamente. Partição: mesmo que full, mas usando um filtro de critério, que define uma partição. Incremental Log: usa o log do DBMS ou um log construído por triggers ou pela aplicação. Timestamp: um carimbo numérico e incremental no registro marca os que forem sendo inseridos ou atualizados. Não resolve deletes, que precisariam ser tratados por estratégia de log. Snapshot: uma foto dos dois lados é tirada e comparada para gerar as operações de inserção, exclusão e atualização. 3

4 Pipeline O que é SSIS? Plataforma para operações ETL A IDE é o Data Tools, instalado à parte do SQL Server, adicional ao Visual Studio Engine de Control flow: Recursos de Runtime e suporte operacional para data flow Engine de Data flow: Arquitetura de Pipeline para processamento registro-aregistro com buffer Engine de Control Flow Engine de Data Flow

5 Projetos e Pacotes do SSIS Projeto SSIS: Um container versionado para parâmetros e pacotes Uma unidade de deployment para um catálogo SSIS Pacote SSIS: Uma unidade de execução de task flow Uma unidade de deployment (modelo de package deployment) Project Project-level parameter Project-level connection manager Deploy SSIS Catalog Package Package Package-level parameter Package connection manager Package-level parameter Package connection manager Deploy Package Deployment Model

6 Package-level Parameters Data Flow Tab Event Handlers Tab Package Explorer Solution Explorer Control Flow Design Surface SSIS Toolbox Pane Connection Managers Pane Variables Pane Properties Pane

7 Examinando Dados de Origem Extraia uma amostra de dados: Por exemplo, usando o Import and Export Data Wizard Examine os dados: Por exemplo, no Microsoft Excel

8 Profiling dos Dados de Origem Use a tarefa Data Profiling no SSIS para ver a estatística dos dados: Chave Candidata Distribuição de tamanhos Taxa de nulos Padrão da coluna Estatísticas da coluna Histograma de valores Dependência funcional Inclusão de valores Visualize o perfil no Data Profile Viewer

9 Connection Managers Uma conexão a uma fonte de dados ou destino: Provider (por exemplo, ADO.NET, OLE DB, or flat file) String de conexão Credenciais Nível de Projeto ou Pacote: Connection Manager a nível de Projeto: Podem ser compartilhados entre pacotes São listados no Solution Explorer e no painel Connection Managers dos pacotes que são usados Connection Manager a nível de Pacote: Pode ser compartilhado pelos objetos do pacote São listados apenas no painel Connection Managers dos pacotes que são usados

10 Tarefa Data Flow A principal tarefa control flow na maioria dos pacotes SSIS Encapsula um pipeline de data flow Defina o pipeline para a tarefa na tab Data Flow

11 Data Sources A origem de dados de um data flow: Connection manager Table, view ou consulta (onde suportado) Colunas incluídas SGBD Arquivo Outro? ADO.NET OLE DB CDC Source Excel Flat file XML Raw file Customizado

12 Data Destinations Endpoint de um data flow: Connection manager Table ou view (onde suportado) SGBD Arquivo Outro? ADO.NET Excel Customizado OLE DB SQL Server Flat file Raw file SQL Server Compact SSAS Data mining model training Dimension processing Rowset DataReader Recordset Partition processing

13 Data Transformations Rowset Transformations Row Transformations Character Map Copy Column Data Conversion Derived Column Export Column Import Column OLE DB Command Aggregate Sort Percentage Sampling Row Sampling Pivot Unpivot Split and Join Transformations Conditional Split Multicast Union All Merge Merge Join Lookup Cache CDC Splitter Auditing Transformations Audit RowCount BI Transformations Slowly Changing Dimension Fuzzy Grouping Fizzy Lookup Term Extraction Term Lookup Data Mining Query Data Cleansing Custom Transformations Script Component Custom Component

14 Tarefas de Control Flow Data Flow Tasks Database Tasks File and Internet Tasks Data Flow Data Profiling Bulk Insert Execute SQL Execute T-SQL CDC Control File System FTP XML Web Service Send Mail Process Execution Tasks WMI Tasks Custom Logic Tasks Execute Package Execute Process WMI Data Reader WMI Event Watcher Script Custom Tasks Database Transfer Tasks Transfer Database Transfer Error Messages Transfer Jobs Transfer Logins Transfer Master Stored Procedures Transfer SQL Server Objects Analysis Services Tasks Analysis Services Execute DDL Analysis Services Processing Data Mining Query SQL Server Maintenance Tasks Back Up Database Check Database Integrity History Cleanup Maintenance Cleanup Notify Operator Rebuild Index Reorganize Index Shrink Database Update Statistics

15 Precedence Constraints Conecta sequências de tarefas Três condições de control flow Success Failure Completion Constraints Múltiplos AND Lógico OR Lógico Task 1 Task 2 Task 3 Task 4 Task 5 Success (AND) Failure (AND) Completion (AND) Success (OR) Failure (OR) Completion (OR) Task 6 Task 7 Task 10 Task 9 Task 8

16 Agrupamentos e Anotações Tarefas Agrupadas podem ser gerenciadas como uma unidade Tarefa 1 Tarefa 2 Tarefa 3 Tarefa 4 Anotações aparecem como notas na superfície de design Agrupe tarefas para gerenciá-las como uma unidade em tempo de design Exibir/Ocultar Mover Adicione anotações para prover documentação

17 Usando Múltiplos Pacotes Criar unidades reusáveis de workflow Rodar múltiplos control flows em paralelo Independência de workflows ETL Pkg1 Pkg2 Execução de tarefas do Pacote Pkg4 Pkg3

18 Variáveis Variáveis de Usuário: Guardam valores dinâmicos Definidas no namespace User por padrão Definidas em um escopo específico Variáveis de Sistema Variáveis Built-in com valores de sistema dinâmicos Definidas no namespace System User::fName Name: fname Data Type: String Value: MyFile.csv Scope: Package System::StartTime Name: StartTime Data Type: DateTime Value: When the package started running

19 Parâmetros Parâmetros de Projeto Acessíveis por qualquer pacote no projeto Parâmetros de Pacote Existem apenas a nível de pacote Project::folderPath Default Value: "D:\MyFiles\" Projeto Pacote 1 Pacote 2 Package::dbConnStr Default Value: "Server=localhost " Package::ftpSrvr Default Value: "ftpsrv01"

20 Expressões Usadas para atribuir valores dinamicamente: Propriedades Critério de Conditional split Valores de Coluna Derivados Constraints de Precedência Baseadas na sintaxe de expressão do SSIS Pode incluir variáveis e parâmetros Podem ser criadas graficamente pelo Expression

21 Sequence Containers Define um subconjunto de control flow Permite gerenciar propriedades de múltiplas tarefas em conjunto Cria um escopo para variáveis, transações e precedência Sequence Container Task 1 Task 2 Task 3 Task 4

22 For Loop Containers Implementa control flow interativo Similar a um For Loop do C# Expressão de = 0 Iterator variable (Counter) For Loop Expressão de < = < 4? Yes Task No Expressão de Task

23 Foreach Loop Containers Iterata em uma coleção enumerada ADO Registros num recordset ADO.NET Schema Rowset File Objetos em um database schema Arquivos em uma pasta Variável Item Elementos em uma variável array Valores de propriedade enumeradas de um item Nodelist SMO Nós em um documento XML SQL Server Management Objects Foreach Loop Task Enumerator variable (for example, file name)

24 Comportamento de Falha Propriedades para controlar a propagação da falha: FailPackageOnFailure FailParentOnFailure MaximumErrorCount Package Sequence Package Sequence X Package Sequence X Package Sequence X X Task X Task X Task X Task X FailParentOnFailure = False FailPackageOnFailure = False FailParentOnFailure = True FailPackageOnFailure = False FailParentOnFailure = False FailPackageOnFailure = True FailParentOnFailure = True FailPackageOnFailure = True

25 Usando Transações Supported Use a propriedade TransactionOption de uma tarefa, container, ou pacote: Required Required Supported Tx Tx Not Supported Supported Tx Supported NotSupported Execute Package Task Supported Tx Enlisted in transaction Tx Supported Not Supported Tx

26 Checkpoints Reinicie pacotes que falharam sem repetir tarefas bemsucedidas anteriormente Habilite checkpoints com as properties do pacote: CheckpointFileName CheckpointUsage SaveCheckpoints X X Checkpoint File Package Execution Package Re-execution

27 Visualizando Eventos de Execução A execução do pacote produz uma sequência de eventos das tarefas e containers Durante o debug, eventos são exibidos: Progress / Execution Results Tab Output Window

28 Breakpoints Adicione breakpoints para interromper a execução em quando estiver debugando Especifique condições do breakpoint: Evento Hit Count Gerencie breakpoints na janela Breakpoints

29 Janela de Variáveis e Status Janela Locals mostra as variáveis do escopo e seus status Janela Watch mostra variáveis selecionadas

30 Data Viewers Habilite data viewers nos caminhos de data flow Visualize os dados à medida que passam através do data flow Copie dados para maior investigação futura

31 Implementando Logging do SSIS 1. Adicione e configure log providers 2. Selecione containers e tasks para incluir no logging 3. Selecione eventos and detalhes para serem logados 4. Sobrescreva as configurações de log para executáveisfilho se requerido

32 Eventos de Log e Schema do Log Log Events OnError OnExecStatusChanged OnInformation OnPostExecute OnPreExecute OnPreValidate OnProgress OnQueryCancelled OnTaskFailed OnVariableChangedValue OnWarning PipelineComponentTime Diagnostic Executable-specific events Log Schema StartTime EndTime DataCode Computer Operator MessageText DataBytes SourceName SourceID ExecutionID

33 Visualizando Eventos Logados Eventos Logados são exibidos na janela de Log Events Mesmo que nenhum log provider seja especificado Útil para troubleshooting e teste de uma estratégia de logging

34 Tratamento de Erros Tratando erros no control flow Precedence constraints de falha Event handlers! Tratando erros no data flow Ignore ou redirecione registros com falha Depende do operador

35 Implementando Event Handlers Adicione um event handler na tab Event Handler Cada event handler tem seu próprio control flow Use variáveis de Sistema contextualizadas para implementar logging customizado ou notificações

36 Manipulando Erros do Data Flow Configure Output para os componentes de data flow : Fail component Ignore failure Redirect row Redirecione os registros com falha com o caminho vermelho

37 A Transformação Lookup Match No Match Lookup Update Insert Exemplo de UPSERT (SCD de Tipo 1): Redirecione registros não encontrados para o output no match Procure dados de uma dimensão ou tabela-fato baseado em uma chave simples ou composta Se não for encontrado, crie um novo registro Opcionamente, se for encontrado, atualize campos não-chave

38 Slowly Changing Dimension OLE DB Command to update existing record Derived Column to add current row indicator column Changing Attributes (Type 1) Historical Attributes (Type 2) OLE DB Command to set existing record s current row indicator to false SCD New records Union All Inferred members OLE DB Command to insert minimal record Derived Column sets current row indicator to True OLE DB Destination for new records

39 T-SQL: Comando MERGE Exemplo de upsert com atualização incremental baseada em snapshot Realiza operações de insert, update, ou delete ao mesmo tempo. source data MERGE INTO DW.dbo.FactSales as tgt USING The target table being loaded (SELECT c.customerkey, s.orderno, s.quantity, s.amount FROM Staging.dbo.Sales s INNER JOIN DW.dbo.DimCustomer c ON s.customerid = c.customerbizkey) AS src (CustomerKey, OrderNo, Quantity, Amount) ON (src.customerkey = tgt.customerkey AND src.orderno = tgt.orderno) WHEN MATCHED THEN UPDATE SET Quantity = src.quantity, Amount = src.amount WHEN NOT MATCHED THEN INSERT (CustomerKey, OrderNo, Quantity, Amount) VALUES (src.customerkey, src.orderno, src.quantity, src.amount) Action when no existing records are found Matching criteria to identify existing records Action when existing records are found