Informatica PowerExchange (Versão HotFix 4) Guia de Movimentação de Dados em Massa

Transcrição

1 Informatica PowerExchange (Versão HotFix 4) Guia de Movimentação de Dados em Massa

2 Informatica PowerExchange Guia de Movimentação de Dados em Massa Versão HotFix 4 Fevereiro 2014 Copyright (c) Informatica Corporation. Todos os direitos reservados. Este software e a respectiva documentação contêm informações de propriedade da Informatica Corporation. Eles são fornecidos sob um contrato de licença que contém restrições quanto a seu uso e divulgação, e são protegidos por leis de copyright. A engenharia reversa do software é proibida. Não está permitida de forma alguma a reprodução ou a transmissão de qualquer parte deste documento (seja por meio eletrônico, fotocópia, gravação ou quaisquer outros) sem o consentimento prévio da Informatica Corporation. Este Software pode estar protegido por patentes dos EUA e/ou internacionais e outras patentes pendentes. O uso, duplicação ou divulgação do Software pelo Governo dos Estados Unidos estão sujeitos às restrições estipuladas no contrato de licença de software aplicável e como estabelecido em DFARS (a) e (a) (1995), DFARS (1)(ii) (OCT 1988), FAR (a) (1995), FAR ou FAR (ALT III), conforme aplicável. As informações contidas neste produto ou documentação estão sujeitas a alteração sem aviso prévio. Informe-nos por escrito caso encontre quaisquer problemas neste produto ou documentação. Informatica, Informatica Platform, Informatica Data Services, PowerCenter, PowerCenterRT, PowerCenter Connect, PowerCenter Data Analyzer, PowerExchange, PowerMart, Metadata Manager, Informatica Data Quality, Informatica Data Explorer, Informatica B2B Data Transformation, Informatica B2B Data Exchange Informatica On Demand, Informatica Identity Resolution, Informatica Application Information Lifecycle Management, Informatica Complex Event Processing, Ultra Messaging and Informatica Master Data Management são marcas comerciais ou marcas registradas da Informatica Corporation nos Estados Unidos e em jurisdisdições pelo mundo. Todos os outros nomes de outras companhias e produtos podem ser nomes ou marcas comerciais de seus respectivos proprietários. Partes desta documentação e/ou software estão sujeitas a direitos autorais de terceiros, incluindo sem limitação: Copyright DataDirect Technologies. Todos os direitos reservados. Copyright Sun Microsystems. Todos os direitos reservados. Copyright RSA Security Inc. Todos os direitos reservados. Copyright Ordinal Technology Corp. Todos os direitos reservados. Copyright Aandacht c.v. Todos os direitos reservados. Copyright Genivia, Inc. Todos os direitos reservados. Copyright Isomorphic Software. Todos os direitos reservados. Copyright Meta Integration Technology, Inc. Todos os direitos reservados. Copyright Intalio. Todos os direitos reservados. Copyright Oracle. Todos os direitos reservados. Copyright Adobe Systems Incorporated. Todos os direitos reservados. Copyright DataArt, Inc. Todos os direitos reservados. Copyright ComponentSource. Todos os direitos reservados. Copyright Microsoft Corporation. Todos os direitos reservados. Copyright Rogue Wave Software, Inc. Todos os direitos reservados. Copyright Teradata Corporation. Todos os direitos reservados. Copyright Yahoo! Inc. Todos os direitos reservados. Copyright Glyph & Cog, LLC. Todos os direitos reservados. Copyright Thinkmap, Inc. Todos os direitos reservados. Copyright Clearpace Software Limited. Todos os direitos reservados. Copyright Information Builders, Inc. Todos os direitos reservados. Copyright OSS Nokalva, Inc. Todos os direitos reservados. Copyright Edifecs, Inc. Todos os direitos reservados. Copyright Cleo Communications, Inc. Todos os direitos reservados. Copyright International Organization for Standardization Todos os direitos reservados. Copyright ej-technologies GmbH. Todos os direitos reservados. Copyright Jaspersoft Corporation. Todos os direitos reservados. Copyright é International Business Machines Corporation. Todos os direitos reservados. Copyright yworks GmbH. Todos os direitos reservados. Copyright Lucent Technologies. Todos os direitos reservados. Copyright (C) University of Toronto. Todos os direitos reservados. Copyright Daniel Veillard. Todos os direitos reservados. Copyright Unicode, Inc. Copyright IBM Corp. Todos os direitos reservados. Copyright MicroQuill Software Publishing, Inc. Todos os direitos reservados. Copyright PassMark Software Pty Ltd. Todos os direitos reservados. Copyright LogiXML, Inc. Todos os direitos reservados. Copyright Lorenzi Davide, todos os direitos reservados. Copyright Red Hat, Inc. Todos os direitos reservados. Copyright The Board of Trustees of the Leland Stanford Junior University. Todos os direitos reservados. Copyright EMC Corporation. Todos os direitos reservados. Copyright Flexera Software. Todos os direitos reservados. Copyright Jinfonet Software. Todos os direitos reservados. Copyright Apple Inc. Todos os direitos reservados. Copyright Telerik Inc. Todos os direitos reservados. Copyright BEA Systems. Todos os direitos reservados. Copyright PDFlib GmbH. Todos os direitos reservados. Copyright Orientation in Objects GmbH. Todos os direitos reservados. Copyright Tanuki Software, Ltd. All rights reserved. Copyright Ricebridge. Todos os direitos reservados. Copyright Sencha, Inc. All rights reserved. Este produto inclui software desenvolvido pela Apache Software Foundation ( e/ou outros softwares licenciados nas várias versões da Licença Apache (a "Licença"). Você pode obter uma cópia dessas Licenças em A menos que exigido pela legislação aplicável ou concordado por escrito, o software distribuído em conformidade com estas Licenças é fornecido "NO ESTADO EM QUE SE ENCONTRA", SEM GARANTIA OU CONDIÇÃO DE QUALQUER TIPO, seja expressa ou implícita. Consulte as Licenças para conhecer as limitações e as permissões que regulam o idioma específico de acordo com as Licenças. Este produto inclui software desenvolvido pela Mozilla ( direitos autorais de software de The JBoss Group, LLC; todos os direitos reservados; direitos autorais de software de Bruno Lowagie e Paulo Soares e outros produtos de software licenciados sob a Licença Pública GNU Lesser General Public License Agreement, que pode ser encontrada em Os materiais são fornecidos gratuitamente pela Informatica, no estado em que se encontram, sem garantia de qualquer tipo, explícita nem implícita, incluindo, mas não limitando-se, as garantias implicadas de comerciabilidade e adequação a um determinado propósito. O produto inclui software ACE(TM) e TAO(TM) com copyright de Douglas C. Schmidt e seu grupo de pesquisa na Washington University, University of California, Irvine e Vanderbilt University, Copyright ( ) , todos os direitos reservados. Este produto inclui o software desenvolvido pelo OpenSSL Project para ser usado no kit de ferramentas OpenSSL (copyright The OpenSSL Project. Todos os direitos reservados) e a redistribuição deste software está sujeita aos termos disponíveis em e Este produto inclui o software Curl com o Copyright , Daniel Stenberg, <daniel@haxx.se>. Todos os direitos reservados. Permissões e limitações relativas a este software estão sujeitas aos termos disponíveis em É permitido usar, copiar, modificar e distribuir este software com qualquer objetivo, com ou sem taxa, desde que a nota de direitos autorais acima e esta nota de permissão apareçam em todas as cópias. O produto inclui direitos autorais de software ( ) MetaStuff, Ltd. Todos os direitos reservados. Permissões e limitações relativas a este software estão sujeitas aos termos disponíveis em O produto inclui o copyright de software , The Dojo Foundation. Todos os direitos reservados. Permissões e limitações relativas a este software estão sujeitas aos termos disponíveis em Este produto inclui o software ICU com o copyright International Business Machines Corporation e outros. Todos os direitos reservados. Permissões e limitações relativas a este software estão sujeitas aos termos disponíveis em Este produto inclui o copyright de software Per Bothner. Todos os direitos reservados. O direito de usar tais materiais é estabelecido na licença que pode ser encontrada em Este produto inclui o software OSSP UUID com Copyright 2002 Ralf S. Engelschall, Copyright 2002 e OSSP Project Copyright 2002 Cable & Wireless Deutschland. Permissões e limitações relativas a este software estão sujeitas aos termos disponíveis em Este produto inclui software desenvolvido pela Boost ( ou sob a licença de software Boost. Permissões e limitações relativas a este software estão sujeitas aos termos disponíveis em Este produto inclui direitos autorais de software University of Cambridge. Permissões e limitações relativas a este software estão sujeitas aos termos disponíveis em

3 Este produto inclui o copyright de software 2007 The Eclipse Foundation. Todos os direitos reservados. As permissões e limitações relativas a este software estão sujeitas aos termos disponíveis em e em Este produto inclui softwares licenciados de acordo com os termos disponíveis em License, license.html, asm.ow2.org/license.html, httpunit.sourceforge.net/doc/ license.html, license.html, license-agreement; /copyright-software ; forge.ow2.org/projects/javaservice/, license.html; protobuf.googlecode.com/svn/trunk/src/google/protobuf/descriptor.proto; current/doc/mitk5license.html. e Este produto inclui software licenciado de acordo com a Academic Free License ( a Common Development and Distribution License ( a Common Public License ( a Sun Binary Code License Agreement Supplemental License Terms, a BSD License ( a nova BSD License ( licenses/bsd-3-clause), a MIT License ( a Artistic License ( e a Initial Developer s Public License Version 1.0 ( Este produto inclui copyright do software Joe WaInes, XStream Committers. Todos os direitos reservados. Permissões e limitações relativas a este software estão sujeitas aos termos disponíveis em Este produto inclui software desenvolvido pelo Indiana University Extreme! Lab. Para obter mais informações, visite Este produto inclui software Copyright 2013 Frank Balluffi e Markus Moeller. Todos os direitos reservados. As permissões e limitações relativas a este software estão sujeitas aos termos da licença MIT. Este Software é protegido pelos Números de Patentes dos EUA 5,794,246; 6,014,670; 6,016,501; 6,029,178; 6,032,158; 6,035,307; 6,044,374; 6,092,086; 6,208,990; 6,339,775; 6,640,226; 6,789,096; 6,823,373; 6,850,947; 6,895,471; 7,117,215; 7,162,643; 7,243,110; 7,254,590; 7,281,001; 7,421,458; 7,496,588; 7,523,121; 7,584,422; 7,676,516; 7,720,842; 7,721,270; 7,774,791; 8,065,266; 8,150,803; 8,166,048; 8,166,071; 8,200,622; 8,224,873; 8,271,477; 8,327,419; 8,386,435; 8,392,460; 8,453,159; 8,458,230; e RE44,478, Patentes internacionais e outras Patentes Pendentes. ISENÇÃO DE RESPONSABILIDADE: a Informatica Corporation fornece esta documentação no estado em que se encontra, sem garantia de qualquer tipo, expressa ou implícita, incluindo, mas não limitando-se, as garantias implícitas de não infração, comercialização ou uso para um determinado propósito. A Informatica Corporation não garante que este software ou documentação esteja sem erros. As informações fornecidas neste software ou documentação podem incluir imprecisões técnicas ou erros tipográficos. As informações deste software e documentação estão sujeitas a alterações a qualquer momento sem aviso prévio. AVISOS Este produto da Informatica (o "Software") traz determinados drivers (os "drivers da DataDirect") da DataDirect Technologies, uma empresa em funcionamento da Progress Software Corporation ("DataDirect"), que estão sujeitos aos seguintes termos e condições: 1. OS DRIVERS DA DATADIRECT SÃO FORNECIDOS NO ESTADO EM QUE SE ENCONTRAM, SEM GARANTIA DE QUALQUER TIPO, EXPRESSA OU IMPLÍCITA, INCLUINDO, MAS NÃO LIMITANDO-SE, AS GARANTIAS IMPLÍCITAS DE COMERCIALIZAÇÃO, ADEQUAÇÃO A UMA FINALIDADE ESPECÍFICA E NÃO INFRAÇÃO. 2. EM NENHUM CASO, A DATADIRECT OU SEUS FORNECEDORES TERCEIRIZADOS SERÃO RESPONSÁVEIS, EM RELAÇÃO AO CLIENTE FINAL, POR QUAISQUER DANOS DIRETOS, INDIRETOS, INCIDENTAIS, ESPECIAIS, CONSEQUENCIAIS OU DEMAIS QUE POSSAM ADVIR DO USO DE DRIVERS ODBC, SENDO OU NÃO ANTERIORMENTE INFORMADOS DAS POSSIBILIDADES DE TAIS DANOS. ESTAS LIMITAÇÕES SE APLICAM A TODAS AS CAUSAS DE AÇÃO, INCLUINDO, SEM LIMITAÇÕES, QUEBRA DE CONTRATO, QUEBRA DE GARANTIA, NEGLIGÊNCIA, RESPONSABILIDADE RIGOROSA, DETURPAÇÃO E OUTROS ATOS ILÍCITOS. Parte Número: PWX-BLK

4 Conteúdo Prefácio.... vii Recursos da Informatica.... vii Portal My Support da Informatica.... vii Documentação da Informatica.... viii Site da Informatica.... viii Biblioteca de Recursos da Informatica.... viii Base de Dados de Conhecimento da Informatica.... viii Canal de Suporte da Informatica no YouTube.... viii Informatica Marketplace.... viii Informatica Velocity.... ix Suporte Global a Clientes da Informatica.... ix Capítulo 1: Introdução à Movimentação de Dados em Massa do PowerExchange Visão Geral da Movimentação de Dados em Massa do PowerExchange Componentes da Movimentação de Dados em Massa Exemplo de Configuração de Movimentação de Dados em Massa Segurança da Movimentação de Dados em Massa Fluxo de Tarefas de Movimentação de Dados em Massa Capítulo 2: Ouvinte do PowerExchange Visão Geral do Ouvinte do PowerExchange Tarefas de Configuração do Ouvinte do PowerExchange para Movimentação de Dados em Massa Personalizando o Arquivo DBMOVER do PowerExchange Instrução APPBUFSIZE Instrução CMDNODE Instrução CREDENTIALS_CASE Instrução DATAMAP_SERVER Instrução DM_SUBTASK Instrução DMX_DIR Instrução LISTENER Instrução LOGPATH Instrução MAXTASKS Instrução NODE Instrução SECURITY Instrução SUBMITTIMEOUT Instrução SVCNODE Instrução TCPIPVER Instrução TRACING Sumário i

5 Configurando o Número da Porta TCP/IP Configurando Vários Arquivos de Log Especificando um Arquivo de Configuração Alternativo ou um Arquivo de Chave de Licença Configurando a JCL do Ouvinte do PowerExchange no z/os Configurando os Soquetes TCP/IP do PowerExchange para CA TCPAcess Gerenciando o Ouvinte do PowerExchange Iniciando o Ouvinte do PowerExchange Interrompendo o Ouvinte do PowerExchange Testando um um Ouvinte do PowerExchange Remoto Controlando o Ouvinte do PowerExchange Capítulo 3: Movimentação de Dados em Massa do Adabas Introdução à Movimentação de Dados em Massa do Adabas Considerações sobre a Movimentação de Dados em Massa do Adabas Configurando a Movimentação de Dados em Massa do Adabas Configurando e Testando a Conectividade com uma Origem ou um Destino Remoto do Adabas Adicionando as Instruções Específicas do Adabas ao Membro de Configuração do DBMOVER Configurando o Acesso à Biblioteca LOAD do Adabas (z/os) Substituindo o SVC Padrão pela Instrução de Controle ADARUN (z/os) Movimentando Dados em Massa do Adabas Materializando um destino de um arquivo de descarregamento do Adabas Capítulo 4: Movimentação de dados em massa C-ISAM Introdução à Movimentação de Dados em Massa C-ISAM Configurando a Movimentação de Dados em Massa C-ISAM Configuração e Teste da Conectividade a um Destino ou Origem do Remoto Movimentando dados em massa C-ISAM Capítulo 5: Movimentação de Dados em Massa do Datacom Introdução à Movimentação de Dados em Massa do Datacom Configurando a Movimentação de Dados em Massa do Datacom Configurando e Testando a Conectividade com uma Origem Remota do Datacom Movimentando Dados em Massa do Datacom Capítulo 6: Movimentação de Dados em Massa do DB2 para i5/os Introdução à Movimentação de Dados em Massa do DB2 para i5/os Considerações sobre a Movimentação de Dados em Massa do DB2 para i5/os Tipos de Dados com Suporte para a Movimentação de Dados em Massa do DB2 para i5/os Configurando a Movimentação de Dados em Massa do DB2 para i5/os Configurando e Testando a Conectividade com uma Origem ou um Destino do DB2 para i5/os ii Sumário

6 Adicionando Instruções Específicas do DB2 ao Membro de Configuração DBMOVER Movimentando os Dados em Massa do DB2 para i5/os - Método de Acesso DB Movimentando Dados em Massa do DB2 para i5/os - Método de Acesso SEQ Capítulo 7: Movimentação de Dados em Massa do DB2 para Linux, UNIX e Windows Introdução à Movimentação de Dados em Massa do DB Tipos de Dados Suportados da Movimentação de Dados em Massa do DB2 para Linux, UNIX e Windows Configurando a Movimentação de Dados em Massa do DB Configurando e Testando a Conectividade com uma Origem ou um Destino Remoto do DB Configurando as Instruções do DB2 no Arquivo de Configuração DBMOVER Movimentando Dados em Massa do DB Capítulo 8: Movimentação de Dados em Massa do DB2 para z/os Introdução à Movimentação de Dados em Massa do DB2 para z/os Tipos de Dados com Suporte para a Movimentação de Dados em Massa do DB2 para z/os DB2 para tipos de dados TIMESTAMP do z/os Configurando a Movimentação de Dados em Massa do DB2 para z/os Configurando e Testando a Conectividade com uma Origem ou um Destino Remoto do DB2 para z/os Adicionando as Instruções Específicas do DB2 ao Membro de Configuração DBMOVER Autoridades Exigidas para Acesso aos Recursos do DB Concedendo Autoridades para Acessar Recursos do DB Instruções FETCH e INSERT de várias linhas do DB Movimentação de Dados em Massa do DB2 para z/os com Definições de Origem ou Destino Relacional Movimentando Dados em Massa do DB2 para z/os com Definições de Origem ou Destino Relacional Movimentação de Dados em Massa DB2 para z/os com uma Origem de Cópia da Imagem Criando uma Cópia da Imagem do DB2 para z/os Cópias da Imagem Compactada como Fontes de Dados Materializando um Destino de uma Cópia da Imagem do DB Movimentação de Dados em Massa do DB2 para z/os com Definições de Origem Não Relacional Arquivos de Descarregamento do DB2 como Fontes de Dados em Massa Movimentando Dados em Massa do DB2 para z/os com Definições de Origem Não Relacional Usando o Utilitário DB2 LOAD para Carregar Dados em Massa Modelos do PowerExchange para o Utilitário LOAD do DB Resumo das Etapas de Configuração Personalizando o Membro de Configuração DBMOVER para o Utilitário LOAD do DB Personalizando Modelos do PowerExchange para Cargas de Dados em Massa Personalizando a JCL do Ouvinte do PowerExchange Sumário iii

7 Configurando Sessões de Carga de Dados em Massa do DB2 no PowerCenter Identificação do Utilitário para Operações de Carga em Massa do DB Variáveis de Substituição nos Modelos da JCL do Carregador Opções do utilitário LOAD do DB Cargas em Massa para uma Única Partição e Várias Partições Capítulo 9: Movimentação de Dados em Massa do IDMS Introdução à Movimentação de Dados em Massa do IDMS Configurando o PowerExchange para IDMS Segurança do PowerExchange para IDMS Configurando e Testando a Conectividade com uma Origem Remota do IDMS Adicionando Instruções Específicas do IDMS ao Membro de Configuração DBMOVER Cópias de Autorização por APF das Bibliotecas de Carga do IDMS Usando a Rotina de Serviços de Chamada do Programa z/os para Acesso Autorizado por APF Configurando um Trabalho Netport para Movimentação de Dados em Massa do IDMS Movimentando Dados em Massa do IDMS Capítulo 10: Movimentação de Dados em Massa do IMS Introdução à Movimentação de Dados em Massa do IMS Métodos para Acessar os Dados do IMS Processamento da Origem do Grupo no PowerExchange Configurando a Movimentação de Dados em Massa do IMS Considerações sobre a Configuração Geral Configurando o PowerExchange para Movimentação de Dados em Massa com um Mapa de Dados Lote DL/ Configurando o PowerExchange para Movimentação de Dados em Massa com um Mapa de Dados ODBS do IMS Configurando e Testando a Conectividade com uma Origem ou um Destino do IMS Implementando uma Movimentação de Dados em Massa no IMS Informações de Pré-Requisito Considerações sobre Implementação Definições que Afetam o Acesso às Origens do IMS Transformações de Pesquisa Materializando um Destino de um Banco de Dados do IMS Movimentação de Dados em Massa e Arquivos de Descarregamento do IMS Usando Conjuntos de Dados de Descarregamento do IMS como Fontes de Dados Instrução de Configuração DBMOVER para Conjuntos de Dados de Descarregamento do IMS Materializando um Destino de um Conjunto de Dados de Descarregamento do IMS Gravações de Vários Registros em Conjuntos de Dados de Descarregamento do IMS Capítulo 11: Movimentação de Dados em Massa do Microsoft SQL Server Introdução à Movimentação de Dados em Massa do Microsoft SQL Server iv Sumário

8 Tipos de Dados Suportados para Movimentação de Dados em Massa do SQL Server Configurando a Movimentação de Dados em Massa do Microsoft SQL Server Adicionando uma Instrução do Microsoft SQL Server ao Arquivo de Configuração DBMOVER Configuração e Teste da Conectividade com uma Origem ou Destino de Serviço SQL Movimentando Dados em Massa do Microsoft SQL Server Usar o Utilitário de Carga em Massa do SQL Server para carregar dados em massa Resumo das Etapas de Configuração Atributos de conexão PWX MSSQLServer para carregamentos em massa do Microsoft SQL Server Propriedade de Sessão do Tipo de Carga de Destino Log de Sessão do PowerCenter para Sessões do Carregador em Massa do SQL Server Considerações de Ajuste para Cargas em Massa Capítulo 12: Movimentação de Dados em Massa do Oracle Introdução à Movimentação de Dados em Massa do Oracle Tipos de Dados Suportados para Movimentação de Dados em Massa do Oracle Configurando a Movimentação de Dados em Massa do Oracle Configurando e Testando a Conectividade com uma Origem ou um Destino Remoto do Oracle Adicionando as Instruções Específicas do Oracle ao Arquivo de Configuração DBMOVER Movimentando Dados em Massa do Oracle Capítulo 13: Movimentação de Dados em Massa de Arquivo Sequencial Introdução à Movimentação de Dados em Massa para Arquivos Sequenciais Configuração e Teste da Conectividade a um Destino ou Origem do Remoto Movimentando Dados em Massa de Arquivo Sequencial Processamento da Origem do Grupo de Arquivos Sequenciais de Vários Registros Gravações de Vários Registros em Arquivos Sequenciais ou Destinos VSAM Regras e Diretrizes para Gravações de Vários Registros em Destinos de Arquivo Sequencial ou VSAM Realizando uma Gravação de Vários Registros em um Destino VSAM ou de Arquivo Sequencial Capítulo 14: Movimentação de Dados em Massa do VSAM Introdução à Movimentação de Dados em Massa do VSAM Configurando a Movimentação de Dados em Massa do VSAM Configuração e Teste da Conectividade a um Destino ou Origem do Remoto Adicionando uma Instrução Específica do VSAM ao Membro de Configuração DBMOVER Movimentando Dados em Massa do VSAM Processamento da Origem do Grupo de Conjuntos de Dados VSAM de Vários Registros Gravações de Vários Registros em Arquivos Sequenciais ou Destinos VSAM Regras e Diretrizes para Gravações de Vários Registros nos Destinos de Arquivo Sequencial ou VSAM Sumário v

9 Realizando uma Gravação de Vários Registros em um Destino Sequencial ou VSAM Capítulo 15: Gravando Dados com Tolerância a Falhas Modos de Gravação de Dados nos Destinos do PowerExchange Visão Geral da Tolerância a Falhas Tratamento de Erros com Tolerância a Falhas Configurando o Tratamento de Erros Configurando o Limite de Erro Criando Arquivos de Ações Corretivas para Tratamento de Erros Personalizado Arquivos Rejeitados com Tolerância a Falhas Estrutura dos Arquivos Rejeitados Convenções de Nomeação de Arquivos Rejeitados Desabilitando a Criação de Arquivos Rejeitados Capítulo 16: Opções de Monitoração e Ajuste Monitoramento das Sessões de Movimentação de Dados em Massa Monitorando as Sessões de Movimentação de Dados em Massa no PowerExchange Ajuste das Sessões de Movimentação de Dados em Massa Utilização das Instruções do DBMOVER do PowerExchange para Ajustar as Sessões de Movimentação de Dados em Massa Usando os Atributos da Conexão para Ajustar as Sessões de Movimentação de Dados em Massa Pool de Conexões Cache de Mapas de Dados Habilitação do Cache de Mapas de Dados Configuração do cache de mapas de dados para ser executado no modo de tarefa única ou de várias tarefas Configuração do Cache de Mapas de Dados - Exemplo Descarregamento de Dados em Massa e Processamento Multithread Regras e Diretrizes para Processamento Multithread Regras e Diretrizes para Processamento de Descarregamento dos Dados em Massa Ativando o Processamento de Descarregamento e Multithread para Sessões de Movimentação de Dados em Massa Partições de Pipeline nas Sessões de Movimentação de Dados em Massa Particionamento de Leitura Particionamento de Gravação Avaliando o Desempenho de Sessões Particionadas de Movimentação de Dados em Massa 186 Ajustando Sessões Particionadas PowerExchange ziip Exploitation Instruções DBMOVER para o PowerExchange ziip Exploitation Mensagens de Log do Sistema z/os para o PowerExchange ziip Exploitation Configurar o PowerExchange para descarregar trabalho para um ziip Índice vi Sumário

10 Prefácio Este guia descreve como usar o PowerExchange para executar operações de movimentação de dados em massa. Ele descreve os componentes exigidos pelo PowerExchange e apresenta um fluxo de tarefas de alto nível. O guia também inclui um capítulo para cada fonte de dados do PowerExchange, que apresenta informações específicas da origem. O guia pertence aos seguintes produtos PowerExchange: PowerExchange for Adabas PowerExchange for CA Datacom PowerExchange for CA IDMS PowerExchange for DB2 for i5/os PowerExchange for DB2 for Linux, UNIX, and Windows PowerExchange for DB2 for z/os PowerExchange for IMS PowerExchange for Oracle PowerExchange for SQL Server PowerExchange for VSAM Antes de você começar a implementar a movimentação de dados em massa, verifique se instalou os componentes necessários do PowerExchange. Recursos da Informatica Portal My Support da Informatica Como cliente da Informatica, você pode acessar o Portal My Support da Informatica em O site contém informações sobre produtos, informações sobre grupos de usuários, boletins informativos, acesso ao sistema de gerenciamento de casos de suporte a clientes da Informatica (ATLAS), à Biblioteca de Recursos da Informatica, à Base de Dados de Conhecimento da Informatica, à Documentação de Produtos da Informatica e à comunidade de usuários da Informatica. vii

11 Documentação da Informatica A equipe de Documentação da Informatica se esforça ao máximo para criar documentações precisas e utilizáveis. Se você tiver dúvidas, comentários ou ideias sobre esta documentação, entre em contato com a equipe de Documentação da Informatica pelo infa_documentation@informatica.com. Nós usaremos seu feedback para melhorar a documentação. Por favor, avise-nos se pudermos entrar em contato com você em relação aos comentários. A equipe de Documentação atualiza a documentação conforme o necessário. Para obter a documentação mais recente do seu produto, navegue para Documentação do Produto no endereço Site da Informatica Você pode acessar o site corporativo da Informatica no endereçohttp:// O site contém informações sobre a Informatica, seu histórico, eventos futuros e escritórios de vendas. Você também vai encontrar informações sobre parceiros e produtos. A área de serviços do site inclui informações importantes sobre suporte técnico, treinamento e educação, bem como serviços de implementação. Biblioteca de Recursos da Informatica Na qualidade de cliente da Informatica, você pode acessar a Biblioteca de Recursos da Informatica no endereço A Biblioteca de Recursos é uma coletânea de recursos que o ajuda a aprender mais sobre os produtos e recursos da Informatica. Ela inclui artigos e demonstrações interativas que apresentam soluções a problemas comuns, comparam recursos e comportamentos e o orienta na execução de tarefas específicas no mundo real. Base de Dados de Conhecimento da Informatica Na qualidade de cliente da Informatica, você pode acessar a Base de Dados de Conhecimento da Informatica no endereço Use a Base de Dados de Conhecimento para pesquisar soluções documentadas a problemas técnicos conhecidos sobre produtos da Informatica. Você também pode encontrar respostas a perguntas frequentes, white papers e dicas técnicas. Se você tiver dúvidas, comentários ou ideias sobre a Base de Dados de Conhecimento, entre em contato com a equipe da Base de Dados de Conhecimento da Informatica pelo KB_Feedback@informatica.com. Canal de Suporte da Informatica no YouTube Você pode acessar o canal de Suporte da Informatica no YouTube O canal de Suporte da Informatica no YouTube inclui vídeos sobre soluções que orientam você na execução de tarefas específicas. Em caso de dúvidas, comentários ou ideias sobre o canal de Suporte da Informatica no YouTube, entre em contato com a equipe de Suporte do YouTube por em supportvideos@informatica.com ou envie um tweet Informatica Marketplace O Informatica Marketplace é um fórum em que desenvolvedores e parceiros podem compartilhar soluções para aumentar, ampliar ou aprimorar implementações da integração de dados. Ao tirar proveito de qualquer uma das centenas de soluções disponíveis no Marketplace, você pode melhorar sua produtividade e agilizar o tempo de implementação em seu projeto. Você pode acessar o Informatica Marketplace através do link viii Prefácio

12 Informatica Velocity Você pode acessar o Informatica Velocity em Desenvolvido a partir da experiências reais em centenas de projetos de gerenciamento de dados, o Informatica Velocity representa o conhecimento coletivo de nossos consultores que trabalharam com organizações no mundo inteiro para planejar, desenvolver, implantar e manter soluções bem-sucedidas de Gerenciamento de Dados. Se você tiver dúvidas, comentários ou ideias sobre o Informatica Velocity, entre em contato com o Informatica Professional Services em ips@informatica.com. Suporte Global a Clientes da Informatica Você pode entrar em contato com o Centro de Suporte a Clientes por telefone ou pelo Suporte Online. O Suporte Online requer um nome de usuário e uma senha. Você pode solicitar um nome de usuário e uma senha no endereço Os números de telefone para o Suporte Global a Clientes da Informatica estão disponíveis no site da Informatica em Prefácio ix

13 x

14 C A P Í T U L O 1 Introdução à Movimentação de Dados em Massa do PowerExchange Este capítulo inclui os seguintes tópicos: Visão Geral da Movimentação de Dados em Massa do PowerExchange, 1 Componentes da Movimentação de Dados em Massa, 2 Exemplo de Configuração de Movimentação de Dados em Massa, 3 Segurança da Movimentação de Dados em Massa, 4 Fluxo de Tarefas de Movimentação de Dados em Massa, 5 Visão Geral da Movimentação de Dados em Massa do PowerExchange O PowerExchange pode movimentar com eficiência grandes quantidades de dados entre diferentes sistemas operacionais em uma única operação. Você pode usar esse recurso de movimentação de dados em massa para materializar ou atualizar completamente um destino de dados, para ressincronizar uma fonte e um destino de dados ou para criar um Data Warehouse, data mart ou repositório operacional. Depois de materializar um destino, você pode usar o Change Data Capture (CDC) do PowerExchange, caso essa opção esteja disponível no seu local, para atualizar o destino de forma contínua. Se você movimentar somente os dados alterados, poderá atualizá-los no destino mais rapidamente. O PowerExchange consegue mover dados em massa entre origens e destinos de diferentes tipos no mesmo sistema operacional ou em sistemas operacionais diferentes. O PowerExchange trabalha em conjunto com o PowerCenter para extrair e gravar dados em bancos de dados relacionais e não relacionais, arquivos simples e conjuntos de dados sequenciais. Os tipos de fontes e destinos de dados que você pode usar para movimentação de dados em massa dependem de sua licença do PowerExchange. Nos sistemas Linux, UNIX e Windows, o PowerExchange pode movimentar dados em massa para os seguintes tipos de fontes e destinos de dados: Arquivos C-ISAM, somente como origens de dados DB2 para Linux, UNIX e Windows Tabelas do Oracle 1

15 tabelas do Microsoft SQL Server Arquivos simples Nos sistemas i5/os, o PowerExchange pode movimentar dados em massa para arquivos simples e tabelas do DB2 para i5/os. Em sistemas z/os, o PowerExchange pode usar os seguintes tipos de bancos de dados e arquivos como fontes ou destinos de dados em massa, exceto quando observado em contrário: arquivos do Adabas bancos de dados do CA Datacom, somente como bancos de dados Tabelas do DB2 para z/os bancos de dados do CA IDMS, somente como bancos de dados Bancos de dados IMS Conjuntos de dados VSAM Conjuntos de dados sequenciais No DB2 para z/os, o PowerExchange pode usar o utilitário DB2 LOAD para carregar dados nas tabelas do DB2. Para IMS, o PowerExchange pode usar um conjunto de dados de descarregamento do IMS como origem. Se os dados da origem residirem em fita, o PowerExchange poderá ler os dados dos conjuntos de dados da fita, incluindo os conjuntos de dados cujo tamanho de bloco seja maior que bytes. Restrição: O tamanho máximo de um registro de origem para o qual o PowerExchange pode movimentar dados em massa é de 32 KB. Componentes da Movimentação de Dados em Massa O PowerExchange usa alguns ou todos os componentes a seguir para movimentar dados em massa: Cliente PowerExchange do PowerCenter (PWXPC) Um componente do PowerCenter que se integra ao PowerCenter com o PowerExchange, de forma que o PowerCenter possa acessar dados controlados pelo PowerExchange e gravá-los em vários destinos. Você também pode usar os drivers ODBC do PowerExchange. No entanto, a Informatica recomenda usar o PWXPC em vez de drivers ODBC. O PWXPC apresenta recursos adicionais e melhor desempenho. Para obter informações sobre o PWXPC e os drivers ODBC, consulte Interfaces do PowerExchange para o PowerCenter. Navegador do PowerExchange A interface gráfica de usuário na qual você define e gerencia mapas de dados para fontes e destinos de dados não relacionais e para tabelas do DB2 que exigem campos e expressões definidos pelo usuário. O PowerExchange usa essas definições para determinar as fontes e destinos de dados a serem processados. Além disso, pelo Navegador do PowerExchange, você pode criar perfis de metadados pessoais opcionais e executar testes de linha do banco de dados. Ao executar um teste de linha em um mapa de dados, você pode visualizar os dados de origem para verificar se o PowerExchange pode 2 Capítulo 1: Introdução à Movimentação de Dados em Massa do PowerExchange

16 acessá-los. Ao executar um teste de linha em um perfil de metadados pessoais, você poderá visualizar metadados para uma fonte de dados. Ouvinte do PowerExchange Um componente do PowerExchange que gerencia mapas de dados para arquivos não relacionais e tabelas do DB2 e os mantêm no arquivo DATAMAPS. O Ouvinte do PowerExchange também lida com solicitações de extração de dados em massa do PowerCenter. Se uma fonte ou destino de dados estiver em um sistema que seja remoto àquele no qual você está usando o PowerExchange, será preciso executar um Ouvinte do PowerExchange adicional nesse sistema remoto para se comunicar com o PowerExchange. Exemplo de Configuração de Movimentação de Dados em Massa A figura a seguir mostra um exemplo de configuração de movimentação de dados em massa do PowerExchange com o PowerCenter, que inclui origens e destinos no z/os, no i5/os e em sistemas distribuídos: Neste exemplo, o PowerExchange usa o PWXPC para se integrar ao PowerCenter. O PowerExchange extrai dados em massa e os carrega nos seguintes tipos de bancos de dados e arquivos: Bancos de dados relacionais e arquivos simples em Linux, UNIX e Windows Tabelas de DB2 e arquivos simples em i5/os Bancos de dados relacionais, bancos de dados não relacionais e conjuntos de dados sequenciais em MVS O PowerExchange usa seus métodos de acesso para ler e gravar dados em massa em bancos de dados relacionais e não relacionais e conjuntos de dados sequenciais no MVS e em tabelas do DB2 e arquivos Exemplo de Configuração de Movimentação de Dados em Massa 3

17 simples no i5/os. Nos sistemas Linux, UNIX e Windows, O Leitor e Gravador do PowerCenter extrai e carrega os dados nas origens e destinos de dados relacionais e nos arquivos simples. Nota: O PowerExchange também pode ler e gravar dados no DB2, no Microsoft SQL Server e em tabelas Oracle no Linux, UNIX ou Windows. Como os sistemas de destino são remotos em relação aos sistemas de origem, um Ouvinte do PowerExchange é executado em todos esses sistemas. Segurança da Movimentação de Dados em Massa Um usuário do PowerExchange deve ter o nível de autoridade adequado para se conectar com o Ouvinte do PowerExchange, e para acessar os recursos do PowerExchange, as fontes e os destinos de dados. Em sistemas z/os e i5/os, você pode incluir a instrução SECURITY no membro da configuração DBMOVER para exigir uma identificação e senha de usuário de um cliente conectado para acessar os recursos e fontes e destinos de dados do PowerExchange. No z/os, estão disponíveis os seguintes níveis adicionais de segurança, dependendo do tipo de fonte ou destino de dados: Para dados do DB2 para z/os, você pode incluir a instrução MVSDB2AF no membro da configuração DBMOVER para controlar se o PowerExchange usa call attachment facility (CAF) ou Recovery Resource Services attachment facility (RRSAF) para se conectar com o DB2. Para usar métodos de autenticação do DB2 para controlar o acesso do usuário de controle às tabelas do DB2, selecione RRSAF. Para usar a identificação de usuário do Ouvinte do PowerExchange para verificar o acesso do usuário, selecione CAF. Para dados do Datacom, você pode definir perfis do recurso RACF para evitar acesso READ não autorizado às tabelas do Datacom. Para dados do Adabas, você pode usar qualquer um dos métodos de segurança a seguir: - Segurança de senha do Adabas em nível de arquivo - Método de Segurança do Adabas por Valor - Perfis do recurso RACF para restringir o acesso WRITE aos bancos de dados e arquivos do Adabas Para obter mais informações sobre segurança, consulte o Manual de Referência do PowerExchange. 4 Capítulo 1: Introdução à Movimentação de Dados em Massa do PowerExchange

18 Fluxo de Tarefas de Movimentação de Dados em Massa Depois de instalar o PowerExchange, execute as tarefas para implementar uma movimentação de dados em massa que use o PowerExchange em conjunto com o PowerCenter. A tabela a seguir lista as tarefas de alto nível que você executa e oferece referências à documentação para executar as tarefas: Etap a Tarefa Referências 1 Configure o Ouvinte do PowerExchange. Capítulo 2, Ouvinte do PowerExchange na página 6 2 Inicie o Ouvinte do PowerExchange. Capítulo 2, Ouvinte do PowerExchange na página 6 3 Crie a estrutura de banco de dados de destino, se necessário. Sua documentação do DBMS 4 No Navegador do PowerExchange, crie mapas de dados para quaisquer origens não relacionais e para quaisquer origens do DB2 que exijam campos e expressões definidos pelo usuário. 5 (Opcional, se um mapa de dados estiver sendo utilizado) No Navegador do PowerExchange, execute um teste de linha de banco de dados em cada fonte de dados para verificar se o PowerExchange pode acessar os dados e para testar quaisquer mapas de dados que você estiver usando. Guia do Usuário do Navegador do PowerExchange Guia do Usuário do Navegador do PowerExchange 6 No PowerCenter Designer, crie um mapeamento. - Interfaces do PowerExchange para PowerCenter - Guia do PowerCenter Designer 7 No Workflow Manager do PowerCenter, defina um fluxo de trabalho e uma sessão, configure uma conexão e execute o fluxo de trabalho para realizar a movimentação de dados em massa. - Interfaces do PowerExchange para PowerCenter - Guia de Noções Básicas de Fluxo de Trabalho do PowerCenter Nota: O fluxo de tarefas pode variar muito de acordo com o tipo de DBMS e a estratégia de movimentação de dados em massa. Por exemplo: para o DB2 para z/os, você pode usar uma cópia da imagem do DB2 como fonte de dados ou usar o utilitário DB2 LOAD para carregar dados no destino. Para IMS e IDMS, você pode usar um trabalho netport. Fluxo de Tarefas de Movimentação de Dados em Massa 5

19 C A P Í T U L O 2 Ouvinte do PowerExchange Este capítulo inclui os seguintes tópicos: Visão Geral do Ouvinte do PowerExchange, 6 Tarefas de Configuração do Ouvinte do PowerExchange para Movimentação de Dados em Massa, 7 Personalizando o Arquivo DBMOVER do PowerExchange, 7 Configurando o Número da Porta TCP/IP, 29 Configurando Vários Arquivos de Log, 30 Especificando um Arquivo de Configuração Alternativo ou um Arquivo de Chave de Licença, 30 Configurando a JCL do Ouvinte do PowerExchange no z/os, 31 Configurando os Soquetes TCP/IP do PowerExchange para CA TCPAcess, 31 Gerenciando o Ouvinte do PowerExchange, 32 Visão Geral do Ouvinte do PowerExchange O Ouvinte do PowerExchange apresenta os seguintes serviços: Armazena e gerencia os mapas de dados para as fontes de dados. Disponibiliza dados em massa para o PowerCenter para extração e carga de dados. Disponibiliza dados em massa para o Navegador do PowerExchange para testes de linha do banco de dados. Um Ouvinte do PowerExchange interage com os seguintes componentes do PowerExchange: Navegador do PowerExchange Outros Ouvintes do PowerExchange 6

20 Tarefas de Configuração do Ouvinte do PowerExchange para Movimentação de Dados em Massa Execute algumas ou todas as tarefas de configuração do Ouvinte do PowerExchange a seguir, conforme o necessário para seu ambiente: Configure o Ouvinte do PowerExchange, definindo as instruções no arquivo de configuração DBMOVER. Você pode aceitar as configurações padrão ou personalizar instruções de configuração para seu ambiente. Configure o número da porta TCP/IP caso o número da porta padrão, 2480, não esteja disponível, ou se você usar vários Ouvintes do PowerExchange e precisar definir portas adicionais para eles. Configure o log alternativo para mensagens e informações de rastreamento. O PowerExchange, por padrão, apresenta um único arquivo de log. Como fazer o log dos dados em um único arquivo é ineficiente e pode fazer com que o arquivo de log fique cheio, use as estratégias de log alternativas do PowerExchange descritas no Manual de Referência do PowerExchange. Para implementar o log alternativo, é preciso especificar o parâmetro TRACING no arquivo de configuração DBMOVER. Em sistemas z/os, o arquivo de configuração DBMOVER padrão enviado com o PowerExchange inclui a instrução TRACING. Além disso, a JCL fornecida para os trabalhos do PowerExchange, como trabalhos netport, contém a seguinte instrução para alocar conjuntos de dados de log: DTLLOG01 DD SYSOUT=* Muitas vezes, essa configuração de log padrão é suficiente. No entanto, existem diversas outras estratégias de log. No Linux, UNIX ou Windows, coloque uma cópia exata ou modificada dos arquivos dbmover.cfg e license.key em uma localização diferente da padrão. Essa prática preservará os arquivos originais se você fizer o upgrade para uma nova versão. Para definir os arquivos alternativos para o Ouvinte do PowerExchange, você pode informar o caminho completo e o nome de cada arquivo nas instruções CONFIG e LICENSE, no comando dtllst, ao iniciar o Ouvinte do PowerExchange. Você também pode especificar os arquivos alternativos nas variáveis de ambiente PWX_CONFIG e PWX_LICENSE. No z/os, configure a JCL do Ouvinte do PowerExchange. No z/os, se você usar CA TCPAcess em vez de IBM z/os TCP/IP, configure os soquetes do TCP/IP para usarem TCPAccess. Personalizando o Arquivo DBMOVER do PowerExchange Provavelmente, você necessitará personalizar o arquivo de configuração DBMOVER do PowerExchange. O arquivo de configuração inclui os seguintes parâmetros que afetam um Ouvinte do PowerExchange: APPBUFSIZE CREDENTIALS DATAMAP_SERVER DM_SUBTASK DMX_DIR Tarefas de Configuração do Ouvinte do PowerExchange para Movimentação de Dados em Massa 7

21 LISTENER LOGPATH MAXTASKS NODE SECURITY SUBTIMEOUT TCPIVER TRACING Após a edição do arquivo de configuração DBMOVER, reinicialize o Ouvinte do PowerExchange para que as alterações se tornem efetivas. Para obter descrições de todas as instruções do DBMOVER, consulte o Manual de Referência do PowerExchange. Instrução APPBUFSIZE A instrução APPBUFSIZE especifica o tamanho máximo do buffer, em bytes, para leitura ou gravação de dados. Quando o tamanho do buffer é atingido, o PowerExchange envia os dados do buffer por meio da rede para o sistema que solicita os dados e, em seguida, começa a usar outro buffer. Sistemas Operacionais: Todos Obrigatório: Não Sintaxe: APPBUFSIZE={buffer_size } Valor: Para a variável buffer_size, digite um valor superior ao tamanho máximo de uma única linha. Os valores válidos vão de a O padrão é Notas de Uso: Para sessões de movimentação de dados em massa que usam partições de leitor ou gravador, você pode aumentar o valor APPBUFSIZE para ajudar a melhorar o desempenho da sessão. Instrução CMDNODE A instrução CMDNODE especifica informações de conexão sobre um processo do PowerExchange que representa o destino de comandos pwxcmd. Inclua a instrução CMDNODE no arquivo dbmover.cfg no sistema Linux, UNIX ou Windows em que você emite comandos pwxcmd. Sistemas Operacionais: Linux, UNIX e Windows Instruções Relacionadas: SVCNODE Obrigatório: Não Sintaxe: CMDNODE=(service_name,{CONDENSE LISTENER},host_name,connect_port ) Parâmetros: 8 Capítulo 2: Ouvinte do PowerExchange