Técnicas de Database Refactoring para ambientes 24x7. Matheus de Oliveira

Transcrição

1 Técnicas de Database Refactoring para ambientes 24x7 Matheus de Oliveira

2 Matheus de Oliveira DBA PostgreSQL consultorias e suportes 24x7/8x5 Instrutor dos treinamentos PostgreSQL Concepção, desenvolvimento e suporte à produção

3 Matheus de Oliveira Mais de 15 anos trabalhando de suporte e consultoria PostgreSQL Crafting Software, Transforming Business Instrutor dos treinamentos PostgreSQL Concepção, desenvolvimento e suporte à produção

4 Matheus de Oliveira 10 anos e mais de 10 mil profissionais capacitados em todo o Brasil. Aprenda com quem faz na prática Mais de 15 anos trabalhando de suporte e consultoria PostgreSQL Crafting Software, Transforming Business Concepção, desenvolvimento e suporte à produção

5 Matheus de Oliveira 10 anos e mais de 10 mil profissionais capacitados em todo o Brasil. Aprenda com quem faz na prática Mais de 15 anos trabalhando de suporte e consultoria PostgreSQL Crafting Software, Transforming Business SaaS para análise e monitoramento PostgreSQL Facilitando a vida do DBA

6 Database Refactoring

7 Database Refactoring A simple change to a database schema that improves its design while retaining both its behavioral and informational semantics in other words, you can neither add new functionality nor break existing functionality, nor can you add new data nor change the meaning of existing data. Scott Ambler and Pramod Sadalage (2006). Refactoring databases: Evolutionary database design. Addison-Wesley. 4 / 26

8 Database Refactoring Segue a mesma ideia e princípios de refatoração de código, só que é considerado um pouco mais difícil. Escrever e evoluir o código de forma disciplinada: nem tão importante durante o desenvolvimento inicial (antes de entrar em produção); essencial (pra todos?) após ter entrado em produção. Desenvolvedores, DBAs, sysadmins... DevOps... Todos trabalhando juntos com um objetivo em comum 5 / 26

9 Database Refactoring Estratégia: 6 / 26

10 Database Refactoring Mais difícil do que parece: 7 / 26

11 Database Refactoring exemplos Podemos dividir os tipos de refatoração em 6 categorias: Estrutural (structural); Qualidade dos dados (data quality); Integridade referencial (referential integrity); Arquitetural (architectural); Métodos/funções (method); Transformação (non-refactoring transformation). 8 / 26

12 Database Refactoring exemplos Incrementar o esquema é fácil: 9 / 26

13 Database Refactoring exemplos SELECT... FROM mensagens m LEFT JOIN usuario_ local l ON l. usuario_ id = m. de_id AND m. data_ hora BETWEEN l. data_ ini AND l. data_ fim 10 / 26

14 Database Refactoring exemplos Em alguns casos, como no exemplo, não há necessidade de sincronização: adicionar colunas à tabelas, desde que essas possam ser NULL ou tenham um valor DEFAULT definido; adicionar novas tabelas, visões ou funções ao modelo; adicionar funções que mantenham compatibilidade. 11 / 26

15 Database Refactoring exemplos Mudar a estrutura já é mais complicado: 12 / 26

16 Database Refactoring sincronização Para muitos casos, como renomear uma coluna, mover de uma tabela para outra, remover uma tabela, entre outros; é necessário um mecanismo de sincronização. Estes podem ser feitos via: gatilhos (triggers); visões (views); atualizações em lote (batch updates); 13 / 26

17 Database Refactoring dicas Tenha diversos ambientes (sandboxes para desenvolvedores, ambiente de teste de carga, demonstração, QA, etc.); 14 / 26

18 Database Refactoring dicas Tenha diversos ambientes (sandboxes para desenvolvedores, ambiente de teste de carga, demonstração, QA, etc.); Mantenha o versionamento da base num controle de versões, e também a informação da versão atual na própria base (use ferramentas como Sqitch, dbdeploy, Flyway, etc... ou faça a sua); 14 / 26

19 Database Refactoring dicas Tenha diversos ambientes (sandboxes para desenvolvedores, ambiente de teste de carga, demonstração, QA, etc.); Mantenha o versionamento da base num controle de versões, e também a informação da versão atual na própria base (use ferramentas como Sqitch, dbdeploy, Flyway, etc... ou faça a sua); Use ambientes de Integração Contínua (Continuous Integration); 14 / 26

20 Database Refactoring dicas Tenha diversos ambientes (sandboxes para desenvolvedores, ambiente de teste de carga, demonstração, QA, etc.); Mantenha o versionamento da base num controle de versões, e também a informação da versão atual na própria base (use ferramentas como Sqitch, dbdeploy, Flyway, etc... ou faça a sua); Use ambientes de Integração Contínua (Continuous Integration); Pequenas modificações são mais fáceis de aplicar e testar (tente dividir uma grande tarefa e várias menores); 14 / 26

21 Database Refactoring dicas Tenha diversos ambientes (sandboxes para desenvolvedores, ambiente de teste de carga, demonstração, QA, etc.); Mantenha o versionamento da base num controle de versões, e também a informação da versão atual na própria base (use ferramentas como Sqitch, dbdeploy, Flyway, etc... ou faça a sua); Use ambientes de Integração Contínua (Continuous Integration); Pequenas modificações são mais fáceis de aplicar e testar (tente dividir uma grande tarefa e várias menores); Automatize tudo; 14 / 26

22 Database Refactoring dicas Tenha diversos ambientes (sandboxes para desenvolvedores, ambiente de teste de carga, demonstração, QA, etc.); Mantenha o versionamento da base num controle de versões, e também a informação da versão atual na própria base (use ferramentas como Sqitch, dbdeploy, Flyway, etc... ou faça a sua); Use ambientes de Integração Contínua (Continuous Integration); Pequenas modificações são mais fáceis de aplicar e testar (tente dividir uma grande tarefa e várias menores); Automatize tudo; Faça as pazes entre desenvolvedores e DBAs (dica: pair-programming entre ambos sempre que possível)... =) ; 14 / 26

23 Database Refactoring dicas Tenha diversos ambientes (sandboxes para desenvolvedores, ambiente de teste de carga, demonstração, QA, etc.); Mantenha o versionamento da base num controle de versões, e também a informação da versão atual na própria base (use ferramentas como Sqitch, dbdeploy, Flyway, etc... ou faça a sua); Use ambientes de Integração Contínua (Continuous Integration); Pequenas modificações são mais fáceis de aplicar e testar (tente dividir uma grande tarefa e várias menores); Automatize tudo; Faça as pazes entre desenvolvedores e DBAs (dica: pair-programming entre ambos sempre que possível)... =) ; Teste / 26

24 Database Refactoring dicas Tenha diversos ambientes (sandboxes para desenvolvedores, ambiente de teste de carga, demonstração, QA, etc.); Mantenha o versionamento da base num controle de versões, e também a informação da versão atual na própria base (use ferramentas como Sqitch, dbdeploy, Flyway, etc... ou faça a sua); Use ambientes de Integração Contínua (Continuous Integration); Pequenas modificações são mais fáceis de aplicar e testar (tente dividir uma grande tarefa e várias menores); Automatize tudo; Faça as pazes entre desenvolvedores e DBAs (dica: pair-programming entre ambos sempre que possível)... =) ; Teste... Teste / 26

25 14 / 26 Database Refactoring dicas Tenha diversos ambientes (sandboxes para desenvolvedores, ambiente de teste de carga, demonstração, QA, etc.); Mantenha o versionamento da base num controle de versões, e também a informação da versão atual na própria base (use ferramentas como Sqitch, dbdeploy, Flyway, etc... ou faça a sua); Use ambientes de Integração Contínua (Continuous Integration); Pequenas modificações são mais fáceis de aplicar e testar (tente dividir uma grande tarefa e várias menores); Automatize tudo; Faça as pazes entre desenvolvedores e DBAs (dica: pair-programming entre ambos sempre que possível)... =) ; Teste... Teste... TESTE...

26 Zero Downtime Upgrades

27 Zero Downtime Upgrades Existe um mito que qualquer atualizações em bancos de dados relacionais é extremamente lenta. É fato que operações DDL (Data Definition Language) muitas vezes bloqueiam operações DML (Data Manipulation Language), mas é possível fazer com que este bloqueio seja extremamente rápido na grande maioria dos casos. 16 / 26

28 Zero Downtime Upgrades ALTER TABLE Sem dúvida o comando que gera maiores dúvidas e dores de cabeça. Para executar um ALTER TABLE o banco de dados necessita de um bloqueio exclusivo da tabela (em muitos casos bloqueando até consultas), mas existem basicamente dois mecanismos para um ALTER TABLE atualizar o esquema: com necessidade de reescrita a tabela é atualizada completamente (in-place ou usando arquivos temporários) + atualização de catálogo; sem necessidade de reescrita apenas atualização de catálogo. A necessidade ou não de reescrita depende do SGDB e do comando executado, vamos ver alguns exemplos e como são tratados no PostgreSQL, Oracle e MySQL. 17 / 26

29 Zero Downtime Upgrades ALTER TABLE Adicionar coluna, sem valor DEFAULT: ALTER TABLE usuarios ADD lat NUMERIC; PostgreSQL : sem reescrita; Oracle : sem reescrita; MySQL : com reescrita (mas a partir da versão 5.6 é possível reescrita in-place e sem bloqueio de operações DML exceto para auto increment); 18 / 26

30 Zero Downtime Upgrades ALTER TABLE Adicionar coluna, com valor DEFAULT: ALTER TABLE usuarios ADD ativo BOOLEAN DEFAULT t r u e ; PostgreSQL : com reescrita (devido à necessidade do valor DEFAULT); Oracle : com reescrita (devido à necessidade do valor DEFAULT); MySQL : com reescrita (mesmas considerações do anterior); 19 / 26

31 Zero Downtime Upgrades ALTER TABLE Adicionar coluna, com valor DEFAULT e NOT NULL: ALTER TABLE usuarios ADD ativo BOOLEAN DEFAULT t r u e NOT NULL; PostgreSQL : com reescrita (devido à necessidade do valor DEFAULT); Oracle : sem reescrita (a partir da versão 11g, anteriormente a reescrita era necessária); MySQL : com reescrita (mesmas considerações do anterior); Para adição de colunas com valor DEFAULT (exceto MySQL 5.6+), uma prática comum é adicionar a coluna sem DEFAULT, definir o DEFAULT em outra operação e fazer um UPDATE em grupos (batches) e/ou em paralelo para aplicar às linhas antigas. 20 / 26

32 Zero Downtime Upgrades ALTER TABLE Remover coluna: ALTER TABLE usuarios DROP fone_ casa ; PostgreSQL : sem reescrita; Oracle : sem reescrita se usando o comando: ALTER TABLE usuarios ALTER fone_casa SET UNUSED ; MySQL : com reescrita (mas a partir da versão 5.6 é possível reescrita in-place e sem bloqueio de operações DML); 21 / 26

33 Zero Downtime Upgrades ALTER TABLE Alterar tipo de uma coluna: ALTER TABLE usuarios ALTER lat TYPE b i g i n t ; PostgreSQL : com reescrita; Oracle : com reescrita; MySQL : com reescrita; 22 / 26

34 Zero Downtime Upgrades ALTER TABLE Alterar limite de uma coluna: ALTER TABLE usuarios ALTER nome TYPE v a r c h a r (100) ; PostgreSQL : a partir da versão 9.2, sem reescrita somente se o limite estiver aumentando (ou remoção de limite); Oracle : sem reescrita somente se o limite estiver aumentando; MySQL : a partir da versão 5.6, sem reescrita somente se o limite estiver aumentando; 23 / 26

35 Zero Downtime Upgrades ALTER TABLE Criação de índices. PostgreSQL : diminui o bloqueio se usado CREATE INDEX CONCURRENTLY...; Oracle : diminui o bloqueio se usado CREATE INDEX... ONLINE; MySQL : não bloqueia para índices secundários, exceto FULLTEXT (InnoDB 5.1+, demais 5.6+). 24 / 26

36 Zero Downtime Upgrades dicas Nunca se preocupe com a posição das colunas numa tabela, mapeia as posições lógicas no seu código/aplicação; 25 / 26

37 Zero Downtime Upgrades dicas Nunca se preocupe com a posição das colunas numa tabela, mapeia as posições lógicas no seu código/aplicação; Nunca utilize o famigerado SELECT * ; 25 / 26

38 Zero Downtime Upgrades dicas Nunca se preocupe com a posição das colunas numa tabela, mapeia as posições lógicas no seu código/aplicação; Nunca utilize o famigerado SELECT * ; Tente executar essas migrações em momentos de menor atividade, mesmo que sejam sem reescrita; 25 / 26

39 Zero Downtime Upgrades dicas Nunca se preocupe com a posição das colunas numa tabela, mapeia as posições lógicas no seu código/aplicação; Nunca utilize o famigerado SELECT * ; Tente executar essas migrações em momentos de menor atividade, mesmo que sejam sem reescrita; Execute scripts de migração parte a parte, algumas vezes um único script de migração pode levar dias; 25 / 26

40 Zero Downtime Upgrades dicas Nunca se preocupe com a posição das colunas numa tabela, mapeia as posições lógicas no seu código/aplicação; Nunca utilize o famigerado SELECT * ; Tente executar essas migrações em momentos de menor atividade, mesmo que sejam sem reescrita; Execute scripts de migração parte a parte, algumas vezes um único script de migração pode levar dias; Automatize tudo que for possível, mas acompanhe a execução quando for em produção. 25 / 26

41 Zero Downtime Upgrades dicas Nunca se preocupe com a posição das colunas numa tabela, mapeia as posições lógicas no seu código/aplicação; Nunca utilize o famigerado SELECT * ; Tente executar essas migrações em momentos de menor atividade, mesmo que sejam sem reescrita; Execute scripts de migração parte a parte, algumas vezes um único script de migração pode levar dias; Automatize tudo que for possível, mas acompanhe a execução quando for em produção. Teste / 26

42 Zero Downtime Upgrades dicas Nunca se preocupe com a posição das colunas numa tabela, mapeia as posições lógicas no seu código/aplicação; Nunca utilize o famigerado SELECT * ; Tente executar essas migrações em momentos de menor atividade, mesmo que sejam sem reescrita; Execute scripts de migração parte a parte, algumas vezes um único script de migração pode levar dias; Automatize tudo que for possível, mas acompanhe a execução quando for em produção. Teste... Teste / 26

43 Zero Downtime Upgrades dicas Nunca se preocupe com a posição das colunas numa tabela, mapeia as posições lógicas no seu código/aplicação; Nunca utilize o famigerado SELECT * ; Tente executar essas migrações em momentos de menor atividade, mesmo que sejam sem reescrita; Execute scripts de migração parte a parte, algumas vezes um único script de migração pode levar dias; Automatize tudo que for possível, mas acompanhe a execução quando for em produção. Teste... Teste... TESTE / 26

44 Obrigado! Dúvidas? Matheus de Oliveira IRC irc.freenode.net: /join #postgresql,#postgresql-br,#dextra Meu nick: MatheusOl matheus LinkedIn: br.linkedin.com/in/matheusdeoliveira/ SlideShare: slideshare.net/matheus de oliveira