Postgres no Governo Federal: Ponto de Vista do Desenvolvedor. Leonardo Leite Serpro

Transcrição

1 Postgres no Governo Federal: Ponto de Vista do Desenvolvedor Leonardo Leite Serpro

2 Eu Engenheiro de computação (Poli USP) Mestre em Ciência da Computação (IME USP) Desenvolvedor de sistemas no Serpro Doutorando em Ciência da Computação (IME USP) 2

3 Agradecimentos Altair Lima Jorge Rossetto Aline Hatadani Rodolfo Bottossi Roberta Monteiro Juliano Atanazio 3

4 Fatiador 4

5 Esta palestra... 5

6 6

7 7

8 Esta palestra Compartilhar alguns conteúdos avançados que realmente são utilizados em meu trabalho! Perspectiva do desenvolvedor. 8

9 Dimensões 850 GB 1,7 TB 3M reg / dia 15 TB Q 9

10 Particionamento registro_auditoria registro_auditoria_01_2014 registro_auditoria_02_2014 registro_auditoria_03_

11 Particionamento Q 11

12 Particionamento Obs: PostgreSQL

13 Hibernate JPQL vs SQL 13

14 DAOs... Interface baseada no negócio. Interface conveniente para o negócio. Otimizar acesso ao banco. Tentar fazer uma query só. 14

15 Uma query só em JPA Às vezes muito difícil em JPQL! JPQL não tem nem count xd 15

16 DAOs (no JPA) Não hesite em trocar o JPQL por SQL quando necessário / conveniente Dica: necessário / conveniência em geral = evitar for s. 16

17 Exemplo Q 17

18 Aliás... string_agg(csv_escopo_inspecionado.nome, ' ') as nomes_escopos_inspecao 18

19 string_agg 1 Pessoa * Cachorro 19

20 string_agg select pessoa.nome as nome_pessoa, cachorro.nome as nome_cachorro, from pessoa, cachorro where pessoa.id = cachorro.id_pessoa nome_pessoa nome_cachorro Roger Dearly Pongo Roger Dearly Perdy Dick Vigarista Muttley 20

21 string_agg select pessoa.nome as nome_pessoa, string_agg(cachorro.nome, ', ') as nomes_cachorros, from pessoa, cachorro where pessoa.id = cachorro.id_pessoa nome_pessoa nomes_cachorros Roger Dearly Pongo, Perdy Dick Vigarista Muttley 21

22 Outro exemplo útil para relatórios select count(case when aprovado = true then 1 end) as aprovados from csv; select count(case when doente = true then 1 end) as quantidade_de_cachorros_doentes from cachorro; select sum(1) filter (where doente = true) as quantidade_de_cachorros_doentes from cachorro; 22

23 Replicação entre bancos Mainframe Linux Banco Adabas Banco PostgreSQL File veiculo Tabela veiculo 23

24 Replicação entre bancos Mainframe Linux Banco PostgreSQL Tabela veiculo_csv Transação Dataset diff Arquivo csv diff Banco PostgreSQL Tabela tmp_veiculo Banco Adabas File veiculo Banco PostgreSQL 24 Tabela veiculo

25 Triggers Q 25

26 FDW - foreign-data wrapper Arquivo csv diff Banco PostgreSQL Tabela veiculo_csv 26

27 FDW - foreign-data wrapper Banco PostgreSQL Arquivo csv diff Tabela veiculo_csv Unlogged table 27

28 ( FDW x BaaS ) 28

29 Upsert / partition over 29

30 Flyway 30

31 31

32 PL/PGSQL Bom evitar, mas... Q 32

33 PL/PGSQL DO $$ DECLARE user_ VARCHAR; BEGIN IF current_user <> 'postgres' THEN user_ := replace(current_user, 'user', 'owner'); EXECUTE 'ALTER TABLE qrcode OWNER TO ' user_; END IF; END $$ 33

34 Reassign reassign owned by old_role to new_role 34

35 Testes com bancos em memória Q 35

36 Testes com bancos em memória #treta 36

37 Testes com bancos em memória Coisas que não funfaram: SQL nativa!!! Chave primária tipo text. Busca por texto acentuado. 37

38 Dados binários no banco? Q 38

39 Dados binários Banco de dados Tanto faz? Sistema de arquivos 39

40 Dados binários Usar tipo bytea. Não usar tipo blob. Tabela separada cachorro id nome id_dono raça idade foto_cachorro id id_cachorro foto bytea 40

41 Dados binários Segregados em um tablespace a parte Degradação suave Ex: disco lotado Questões de I/O de disco Segregados em um schema a parte Facilita tarefas administrativas (ex: vacuum) 41

42 42

43 CEPH Distributed No single point of failure Scalable Replicates Fault-tolerant Minimize administration time Disaster recovery 43

44 NoSQL? 44

45 NoSQL? Exemplo: amigos no Face. 45

46 Q: banco No-SQL para o cenário da replicação. 46

47 Extra varchar(n) x text CPF: integer vs text 47

48 Leonardo Alexandre Ferreira Leite Meu blog sobre SQL: 48