Progress na prática Migrando V8/V9 para OpenEdge 10. Regis Martins Ezipato Pre Sales Manager

Transcrição

1 Progress na prática Migrando V8/V9 para OpenEdge 10 Regis Martins Ezipato Pre Sales Manager

2 O que há de novo no RDBMS? Performance Type II Storage Areas Fast Drop & Temp tables Increased shmem B 1 billion Internal algorithmic enhancements Buffers, Locks, Indexing Improved APW scanning Auto Record Defrag Enhanced Txn Backout New Defaults Suporte a Tipo de Dados BLOB, CLOB Datetime, Datetime-TZ INT64 (no conversion) Visibilidade Log File New format Significant events Improved management Db I/O by User by Object Database Describe Suporte a Grandes Bases 64 bit Rowids 64 bit Sequences 64 bit Integer Datatype Large Index Key Entries (1970) 32,000 areas 8 TB Shmem 2 OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

3 O que há de novo no RDBMS? Alta Disponibilidade Online Schema adds Sequences Tables Fields Indexes w/fast fill Online space management Enabled/Disable AI online Enable AI Mgmt online HA Clusters Bundled Segurança SSL Auditing Manutenção Index Rebuild By area, table, active status.st file syntax checker AI Management Multi threaded utilities idxbuild, binary dump Binary Dump without index Binary Load Performance Index Fix with NO-LOCK 3 OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

4 Agenda Estratégia Geral de Migração Upgrade rápido e fácil Upgrade Físico Oportunidade de Tuning 4 OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

5 Passos Básicos Primeiro detalhe o planejamento, revise, teste e ENTÃO execute Preparação BI truncado, Desabilitar AI, 2PC, e Replication (V9) Backup (V8/9) Instalação Instalar OpenEdge Não precisa desintalar V8/9 *Não sobrescrever seu diretório Progress Upgrade Upgrade DB para OpenEdge 10 Faça backups!!!! Recompile/Redistribua seu código ABL se o cliente é OpenEdge Execute a aplicação e teste, teste teste 5 OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

6 A Aplicação Seguro Instale OpenEdge em sua máquina de teste existente proutil <test db> -C conv910* Recompile sua aplicação* e teste Rápido Upgrade do site cliente remoto ou local Recompile sua aplicação* e teste Apresentação Upgrade de sistemas remoto com OpenEdge Servidor remoto do cliente, Servidor de aplicações remoto retire a aplicação recentemente construída (PROPATH) e teste * O código ABL precisa ser reompilado somente para promover o cliente V10. Na codificação em 3 camadas (com AppServer ) o cliente ainda pode ser V9. Não é possível através do SQL ou V8. * Você terá que converter um DB de V8 para V9 antes de converter para OpenEdge 6 OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

8 Distribuição Preparação BI truncado Desabilitar AI, 2PC, Replication (V9) Backup das bases de dados (V8/9) Validar backup Instalar OpenEdge 10 no servidor E todas as outras partes!! (Clientes devem fazer o upgrade antes do servidor) Recompile e re-distribua a aplicação (se necessário) Client/Server V9 para OpenEdge 10 Clientes V9 para V10, AppServer para V10, base de dados está habilitada 8 OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

9 Conectividade: Progress V9 e OpenEdge 10 Mix de configuração ABL : Progress V9 e OpenEdge 10 são suportados Uma versão (clientes para servidores) Uma versão encaminhada (clientes para Application Server) Combinar o SQL Cliente Servidor Base de dados Novo no OpenEdge Refere-se de produto por produto para detalhes adicionais 9

10 Conversão da base de dados Executar utilitário de conversão _proutil <db> -C conv910 B 512 Conversão executa em 5 minutos ou menos Basicamente um upgrade no schema Sem mudanças de registros ou indices Sem mudanças na estrutura física Backup da base de dados Reiniciar base de dados e aplicação 10 OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

12 Áreas de armazenamento? Performance, escalabilidade e manutenção Vantagens nas novas características Nenhum efeito adverso na aplicação Reorganização física não muda a aplicação A posição dos objetos é abstraída da linguagem pela camada de mapeamento Diferentes distribuições físicas podem ser executadas com o mesmo.r compilado 12 OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

13 Como chegar lá Preparação (o mesmo de antes) Truncar BI, desabilitar AI, backup, validar, instalar Reorganização física Upgrade da base de dados para OpenEdge 10 Utilitário de conversão prostrct create (obrigatório mudar o tamanho do bloco) Mudanças físicas (não requer mudanças no.r) Dados de usuário separados do schema Criação de novas áreas de armazenamento Especificar registros por blocos Especificar o tamanho do cluster para área tipo II 13 OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

14 Como chegar lá Reorganização Física Espalhe os dados pelas novas áreas Mova os indices Opções Online vs Opções offline As mudanças do tamanho de bloco da base de dados são Offline Depois da reorganização Espaço utilizado na recuperação Truncar area de dados velha Deletar area de dados velha 14 OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

15 Mudanças Físicas: Localização, Localização, Localização Criar arquivo.st com novo layout Configurar os registros por blocos Usar Areas de Armazenamento tipo II Tabelas 64 ou 512 clusters por bloco Indices 8 ou 64 blocos por cluster d Cust/Bill Indexes :7,1;8 /d_array2/mydb_7.d1 f d Cust/Bill Indexes :7,1;8 /d_array2/mydb_7.d2 # d Customer Data :8,16;64 /d_array2/mydb_8.d1 f d Customer Data :8,16;64 /d_array2/mydb_8.d2 # d Billing Data :9,32;512 /d_array2/mydb_9.d1 f d Billing Data :9,32;512 /d_array2/mydb_9.d2 15 OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

16 Mudanças Físicas Primeiro validar prostrct add <db> new.st -validate The Structure file format is valid. (12619) Depois mudar prostrct add <db> new.st OU: prostrct addonline <db> new.st 16 OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

17 Movendo Tabelas e Índices 3 opções de movimento de dados 1. Mover Tabela e Índice Online (através do primeiro índice) 2. Dump e Load (D&L) Com ou sem reconstrução de índices Aplicação deve estar offline Sugestão: Mix da opção #1 e #2 1 º remover/arquivar dados desnecessários Mover as tabelas pequenas (número de blocos) D&L e mais 17 OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

18 Dump e Load 3 Dump e Load Dados Textuais ASCII dump ASCII load A maior parte da carga segue a partir da reconstrução do índice Binário Dump Binário Load Binário Com índice reconstruído A partir da reconstrução do índice (Texto ou raw) D&L com triggers Buffer-Copy / Raw-data-transfer / Export/Import Pode ser difícil, provavelmente você pedirá ajuda 18 OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

19 Estratégia Geral de Dump e Load Criar uma nova estrutura da base de dados Adicionar a um DB existente Nova base de dados Executar tabanalys Dump de dados, sequências e usuários Definições de Dados Definições de Dump Modificar as áreas de armazenamento Definições de Load Carregar os dados na tabela Configuração de índices (se necessário) [10.1C pode especificar o pacote] Executar tabanalys Backup 19 OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

20 Dump de dados pelo Dicionário Ferramentas do Banco de Dados OU: run prodict/dump_d.p(<table>, <dir>,<codepage>). Vantagens: Rápido e Fácil Paralelo Nenhuma edição Desvantagens: Arquivo com limite de tamanho de 2 GB ** Pré 10.1C Não pode escolher Tem que exportar toda a tabela Deve garantir que não haja mudanças nas tabelas entre D&L 20 OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

21 Usando Dump Binário Vantagens: Rápido e fácil Sem o limite de 2 GB Pode escolher a ordem de dump (pelo índice) Pode exportar porções de dados da tabela Multi tarefa (10.1B) Pode exportar múltiplas tabelas em paralelo Desvantagens: Não pode mudar nada entre o Dump e Load 21 OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

22 Dump Binário especificado proutil <db> -C dumpspecified <table.field> <operator> fieldvalue1 AND operator value2 <dir> -preferidx <idx-name> 10.1B03 permite múltiplos valores Trocas Campo da tabela DEVE ser primeiro participante no índice Operadores Válidos: LT, GE, LE, GT, EQ -preferidx determina índice específico a usar -index, -thread são ignorados Performance Threaded é preferido Pode rodar em paralelo com muitos valores únicos Precauções Cuidado com índices descendentes 22 OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

23 Tarefa do Dump Binário proutil <db> -C dump <table> <dir> -index <index #> -thread 1 -threadnum <n> -dumpfile <filelist> -Bp 64 -index <n> Escolhe o índice a ser usado na leitura -index 0 Rápido dump, leitura lenta Assume vindo de área do Tipo II -thread indica dump multi tarefa # threads automático (# CPUs) threadnum máx de # CPUs * 2 Threads somente disponível em multi usuário Workgroup suporta somente 1 thread -dumpfile usado como input para o load 23 OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

24 Dump de Dados Completo. Reorganize a Configuração de Área/Objeto 24 OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

25 Dump & Modificação de definição de dados Use Data administration OU: run prodict/dump_df.p( ALL, <mydb>.df, ). Se usando bulk load: run prodict/dump_fd.p( ALL, <mydb>.fd ). 25 OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

26 Dump & Modificação de definição de dados Altere arquivos.df Opcionalmente delete tabelas velhas Altere Áreas das Tabelas ADD TABLE "mytable2" AREA Old Default Area" DROP Table mytable2 ADD TABLE "mytable2" AREA New Data Area" Delete/Drop tabelas Leitura da Definição de Tabelas Data administration OU: run prodict/load_df.p( <mytable>.df"). 26 OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

27 Alternativa para Modificação da Definição de Dados Se todos os dados estão na área exportada Truncar objetos é mais rápido do que mover/deletar proutil <db> -C truncate area Old Default Area Cuidado quando deletar dados (mas não o schema) Reindexar/ativar índices vazios (se movendo) proutil <db> -C idxbuild inactiveindexes Pode ser feito ONLINE, não apenas a indexação mas a ativação Mova tabelas/índices vazios para nova área proutil <db> -C tablemove <table> <area> [ index-area ] 27 OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

28 Lendo Coisas a considerar... Habilite suporte a large files No Sistema Operacional (ulimit) No Filesystem / volume groups No Banco de Dados 28 OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

29 Bulkload proutil <db> -C bulkload <fd-file> -B 1000 i Mf 10 Entrada de dados do dicionário ou exportação customizada Mencionado aqui para tabelas completas Lembretes: Limite de 2 GB (pré 10.1C) Leitura de uma tabela por vez (mono usuário) Não usa índice na entrada Requer indexação separada Nenhuma vantagem sobre outros métodos Mais lento do que outros métodos 29 OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

30 Load pelo Dicionário Data Administration Tool OU: run prodict/load_d.p( table1, table1.d ). Entrada de dados pelo dicionário ou exportação de dados customizados Limite de 2 GB por leitura (pré 10.1C) Leitura de Dados em paralelo (para tabelas separadas) Inclui entrada nos índices Árvore de índices imperfeita Performance perto do load binário + reindexação (quando lendo múltiplas tabelas) 30 OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

31 Load Binário proutil <db> -C load <table>.bd [build] Leitura para áreas novas ou truncadas Truncada ao invés de esvaziada Leitura paralela para tabelas diferentes Áreas iguais ou diferentes sem distanciamento! Usando Área do Tipo II Opcionalmente leitura com criação de índices Pode ter melhor performance 31 OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

32 Load Binário À partir da exportação com multi tarefa proutil <db> -C load <table>.bd -dumplist <filename> Arquivo Dump List: /usr1/db/mytable.bd /usr1/db/mytable2.bd /usr1/db/mytable3.bd Deve ler todos os dumps (.db, db2,.db3, ) 32 OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

33 Ajustando o Processo Ajustando as atividades para cima Dump com RO, aumente B e/ou -Bp Dump com índice com menos # blocos (se possível) Load com Maior B, r** or i** BIW, 1.5 APW s por CPU, Cluster de BI bem grande com blocos de 16K Sem AI/2PC Espalhe dados, BI e arquivos temporários através dos discos / controladoras 33 OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

34 Depois da Leitura Recontrução de Índices (onde aplicável) proutil <db> -C idxbuild [ all table <table> area <area> schema <owner> activeindexes inactiveindexes] [- thread n] [-threadnum n] [-T <dir>] [-TM n] [ TB <blocksize>] [-B n] [-SG n] [-SS <file>] [-pfactor n] Vários índices novos escolhidos Parâmetros para auxílio -SG 64 (sort groups) -SS filename (arq. que contém arquivos de sort) -TM 32 (buffers de merge) -TB 31 (buffers de sort) -B 1000 Rode um tabanalys valida # registros Backup de sua base de dados 34 OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

36 Oportunidade para tuning -Bt (temp tables são armazenadas em áreas do tipo II) parâmetro de cliente 10.1B+ altera o tamanho do bloco da Temp table De 1K para 4K tmpbsize 1 restaura o antigo padrão parâmetro de cliente Monitore o Tamanho do Cluster de BI Notas de BI são maiores na OpenEdge 10 BI cresce mais 36 OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

37 Resumo Conversão é rápida Atualização física garante seu sossego Muitas opções de reorganização física Mudança pode ser simples 10,000+ clientes no OpenEdge 37 OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

38 Perguntas 38 OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

39 Obrigado 39 OPS-10: Moving V8/V9 RDBMS to OpenEdge 10

40 40 OPS-10: Moving V8/V9 RDBMS to OpenEdge 10