Título da Apresentação

Tamanho: px

Começar a partir da página:

Download "Título da Apresentação"

Giovanna Barroso Cerveira
8 Há anos
Visualizações:

2 Título da Apresentação O Ambiente IntegraçãoSPED Palestrante: EDSON IE 00/00/0000

3 O SPED O SPED (SISTEMA PÚBLICO DE ESCRITURAÇÃO DIGITAL), foi instituído pelo Decreto nº 6.022, de 22 de janeiro de 2007, e está sob responsabilidade do SERPRO.

4 O SPED O Projeto NF-e tem como objetivo a implantação de um modelo nacional de documento fiscal eletrônico que venha substituir a sistemática atual de emissão do documento fiscal em papel

5 O SPED Motivações: redução de custos com impressão, armazenagem e aquisição de papel redução de erros de escrituração redução de custos de envio de documentos fiscais

6 O SPED Nota Fiscal Eletrônica (NFe) Escrituração Digital Contábil (ECD) Escrituração Fiscal Digital (EFD)

7 IntegraçãoSPED O sistema IntegraçãoSPED tem a função de extrair informações sobre notas fiscais eletrônicas (NFe) e escriturações fiscais digitais (EFD) e gerenciar o processo de transformação dos dados para atender aos requisitos do data warehouse do sistema SPED (DW-SPED).

fiscais digitais (EFD) e gerenciar o processo de transformação dos

8 IntegraçãoSPED A aplicação IntegracaoSPED foi concebida para realizar o processo de extração, transformação e carga (ETL) dos documentos eletrônicos contidos no sistema SPED.

9 IntegraçãoSPED Promove a integração dos vários temas de documentos eletrônicos que compõem o sistema SPED, com capacidade de gerar insumos de cunho gerencial, estudos administrativos tributários, análises de auditoria fiscal, dentre outros.

capacidade de gerar insumos de cunho gerencial, estudos

10 IntegraçãoSPED O desenvolvimento tecnológico do Sped é feito na Regional do Serpro em Belo Horizonte. O IntegraçãoSPED foi implementado utilizando o framework Demoiselle, desenvolvido pelo SERPRO. Foi desenvolvido de forma a funcionar nos servidores de aplicação Apache TomCat.

O IntegraçãoSPED foi implementado utilizando o framework Demoiselle,

11 IntegraçãoSPED Seguindo as diretrizes estabelecidas no SERPRO de uso de plataformas tecnológicas com padrões abertos e software livre, iniciou-se a implantação, no ambiente SPED, de novas tecnologias.

12 Modo operacional (crédito: M. Carrijo)

13 A adoção no uso de dois SGBD Postgres se deu ao observar que o processo de extração e agregação quando ativados simultaneamente degradavam o desempenho dos processos e comprometia todo os recursos de máquina.

14 Servidor de Extração - utilizado para armazenar as informações das NFe e das EFD. Servidor de Agregação - utilizado para gerar as informações consolidadas, de forma temporária, a partir dos dados contidos no servidor de Extração.

15 STG1 COPY dblink STG2

16 Hardware inicial IBM Power Plataforma RISC 64 bits

17 Software Red Hat Enterprise Linux PPC PostgreSQL 8.4

18 Volume de dados São armazenados cerca de 180 milhões de NFe por mês. Recebimento de 2500 EFDs por hora. Uma única EFD quando lida e gravada no Postgres pode gerar um número superior a 30 milhões de registros.

19 Volume de dados Existem partições de tabelas de dados com valores superiores a de registros A base de dados ocupa entre 20TB e 28TB de dados.

20 Particionamento Particionamento horizontal de tabelas Particionamento de tabelas baseado em características dos registros (data range, ID, etc.) Permite dividir tabelas factuais (ou dimensões) Podemos colocar partições em tablespaces diferentes

21 Particionamento O particionamento de tabelas deve usar critérios que facilitem a pesquisa dos dados e permitam a exclusão ou limpeza da partição, evitando qualquer tipo de vínculo que possa comprometer a base de dados.

22 Particionamento No caso da NF-e, foi adotada a divisão ano/mês, ou seja, para cada mês do ano existirá uma tabela específica.

23 Particionamento Modelo simplificado do particionamento (crédito: M. Carrijo)

24 Particionamento No arquivo postgresql.conf: constraint_exclusion = partition

25 Distribuição dos dados Criação de Tablespaces: TableSpaces de dados Não Voláteis; TableSpaces de Indices; TableSpaces de dados Voláteis; TableSpaces de Indices Voláteis.

26 Distribuição dos dados Tablespaces em discos diferentes melhora o gerenciamento do espaço em disco facilita o expurgo de dados antigos.

27 Hibernate Não permitir que frameworks especializados em persistências de dados, como, por exemplo, o Hibernate, possa fazer uso de consultas automatizadas em tabelas de dados com elevado número de registros

28 Prepared Statments Adotar o uso de consultas ou instruções SQL de inserção de forma pré-compilada, através do uso de Prepared Statments, para o maior número possível de processos repetitivos

29 Relacionamentos As tabelas que compõem o STG1 não possuem relacionamento entre si, ou seja, não existe o uso de restrições ou CONSTRAINTS por meio de chaves estrangeiras entre as tabelas.

30 AUTOVACUUM autovacuum = on Configurações individuais de autovacuum por tabela Fillfactor também configurado por tabela

31 Controle de concorrência A forma de atuação do bloqueio pessimista é amplamente conhecido através do uso da sintaxe SELECT FOR UPDATE.

32 Migração Um único servidor para extração e agregação arquitetura x86 128GB RAM 32 cores

33 Migração Foi planejado então a unificação dos dois bancos em um único. Elimina-se transferência de dados de um servidor a outro. Upgrade para PostgreSQL 9.2

34 Migração O PostgreSQL foi compilado a partir dos fontes./configure --with-perl --with-python --with-segsize=4 --with-blocksize=32

35 Migração Transferência dos dados não é possível copiar os datafiles (arquiteturas diferentes). pg_dump não era viável

36 Migração Transferência dos dados: psql -h servidor_antigo -c COPY (SELECT...) BINARY psql -c COPY tabela1 from STDIN BINARY

37 Migração Alteração da estrutura de várias tabelas. Processos longos de agregação foram divididos em processos menores. Apenas pequenas modificações nas aplicações Maior parte do trabalho consistiu de alteração em stored procedures no banco.

38 Migração Unlogged tables Ext3 XFS Criação de índices condicionais Index-only scans

39 Checkpoint checkpoint_segments= 1200 checkpoint_timeout = 5min Checkpoints ocorrem, em média, a cada 4 ou 5 minutos

40 Shared buffers shared_buffers = 4GB Valores maiores não garantem melhor desempenho, pelo contrário.

41 Shared buffers work_mem Valor default baixo Para consultas maiores, é ajustado o valor de work_mem para a sessão.

42 Homologação O sistema novo ficou trabalhando em paralelo com o antigo e os resultados foram sendo comparados.

43 Homologação Após todos os procedimentos serem certificados no sistema novo, o antigo foi desativado.

44 Backup Backup inicial full Backups incrementais Gravação em pool de disco Arquivamento de logs de transação

45 Próximos passos Nota Fiscal Consumidor Integração com mais sistemas Aumento da retenção dos dados no PostgreSQL

46 Dúvidas??

Documentos relacionados

*O RDBMS Oracle é um sistema de gerenciamento de banco de dados relacional.

*O RDBMS Oracle é um sistema de gerenciamento de banco de dados relacional. Arquitetura Oracle e seus componentes Hoje irei explicar de uma forma geral a arquitetura oracle e seus componentes. Algo que todos os DBA s, obrigatoriamente, devem saber de cabo a rabo. Vamos lá, e boa