Problemas de Performance Rio. Parte 1 - Agosto/2013

Transcrição

1 !!!!! Problemas de Performance Rio Parte 1 - Agosto/2013

2 Geral Magistrados 1º Grau 2.1 mil Magistrados 2º Grau 1 mil Servidores 22 mil Processos 560 mil Advogados 170 mil

3 Rio Magistrados 1º Grau 211 Magistrados! 2o Grau! 63 Servidores 2400 mil Processos 82 mil Advogados 22 mil

4 Problema Lentidão extrema do PJe Máquina do BD topava o processamento Locks excessivos: > 100k

5 Ambiente Inicial = 4 internos (12GB); DS (20/80) = 6 externos (12GB); DS (20/80) = v 9.14 Max connections: 800

6 Banco de Dados

7 Sistema de Arquivos SO do BD: abertura máxima de 65k arquivos, impedindo BD de abrir mais Aumentado para 512k (Tecnisys)

8 Ações de Infra Migração do BD 9.14 para 9.24 Locks de 40k caíram para 4k Vazão aumentou consideravelmente Aumento na quantidade de JBoss Usuários reclamando de perda de sessão causa: jboss esperava banco, timeout no apache 6 internos e 6 externos Aumento na quantidade de conexões por JBoss de max 40 para 100 (1200 conexões total ao BD)

9 Ambiente Final JBoss = 4 internos (12GB); DS (20/80) = 6 externos (12GB); DS (20/80) = 6 internos; DS (20/100) = 6 externos; DS (20/100) GC Paralelo e Serial 12GB e 18GB Ram

10 Ambiente Final Banco = v 9.14 Max connections: 800 = v 9.24 Max connections: 1300

11 Alterações no PJe! Melhoria de performance dos Agrupadores Agrupadores podem ser suprimidos Assim como download de PDF e Paginador Tabelas de logs Removidas referências Data source a parte Melhoria de performance em 48 pontos que utilizavam certchain Otimização de consultas nas caixas de tarefa Removido problema de quartz parar de funcionar após exceção

12 (29/08): 1500 petições iniciais Data Source

13 Problemas de Performance Parte 2 - início de outubro

14 Geral Magistrados 1º Grau 2.1 mil Magistrados 2º Grau 1 mil Magistrados 1º Grau 2400 Magistrados! 2o Grau! 1100 Servidores 22 mil Advogados 170 mil Processos 560 mil Servidores mil Advogados 218 mil Processos 807 mil

15 Rio Magistrados 1º Grau 211 Magistrados! 2o Grau! 63 Magistrados 1º Grau 221 Magistrados! 2o Grau! 63 Servidores 2400 mil Advogados 22 mil Processos 82 mil Servidores 2600 mil Advogados 29 mil Processos 142 mil

16 Infra max_connections = 3000 max_prepared_transactions = 3000 shared_buffers = 16GB work_mem = 13MB effective_cache_size = 60GB 12 internos 12 a 18 GB Ram pool: min 40 max 100 pje_1grau_producao pje_1grau_bin

17 CPU - JBoss Interno

18 CPU - JBoss Externo

19 Gargalhos encontrados (não exaustivos) Protocolar processo gera muitos locks deadlocks na JVM Painel de usuário são muito acessados e possuem consultas pesadas Filtros com vs_consulta_processo_trf_new grande vilão Movimentação no fluxo é operação onerosa e degrada ainda mais quando é feito em lote. Escopo de transações muito grandes Login no sistema é oneroso suggests muito lentos findbyname e findbycpf muito onerosos

20 Principais melhorias Protocolo de processo utilizando lock otimista Uso de aplicação externa ao PJE para consulta de processo Uso de consultas em uma base replicada. Exemplo: Audiência, informações de painel de usuário, Download de PDF completo. Supressão de abas e outras informações na página de detalhes de processo Refatoração de métodos custosos como findbyname

21 Principais melhorias Remoção de componente suggests Bloqueio de webservices Uso do gerenciador de conexão c3p0 Otimização na view vs_situacao_processo_new Otimização na view vs_consulta_processo_trf_new Criação de índices Evitar loops no algoritmo de marcação automática de audiência

22 Principais melhorias Supressão de validação para permitir visualização de documentos pendentes de ciência em qualquer situação. A validação para esta visualização era feita em cada documento de detalhes de processo e ocasionava problema de performance. Criação de datasource para log, base replicada e quartz Utilização do quartz em apenas uma instância de jboss. Colocando finalmente funcional o parâmetro para habilitar o quartz. Renderização de agrupadores e algumas funcionalidades conforme parâmetro de aplicação; Melhorias de performance no painel do advogado Otimização dos agrupadores de documentos não lidos Otimização nos filtros de visibilidade e filtro de advogado

23 Infra pje_1grau_producao pje_1grau_bin pje_1grau_log postgresql streaming replication master 12 internos 12 a 18 GB Ram pool: min 40 max 100 replicado

24 Principais melhorias na r16-7/11/2013 Lock Otimista [PJEII-13252] - Permitir alteração de login e senha no PJe possibilitando uso de módulo externo para consulta de processos. [PJEII-13223] - Remoção de itens da página de detalhes de processo. [PJEII-11066] - Melhoria de mensagem ao dar concorrência no lock otimista. [PJEII-13223] - Performance - Removido itens diversos do menu Configuração/Controle de acesso/registro de atividades, Processo/Pesquisar/consultaProcessoTerceiros, Processo/Pesquisar/Localizações. [PJEII-13127] - Performance - Otimização dos filtros de advogado e segredo de justiça. [PJEII-13030] - Trazendo os painéis de pesquisa fechados por padrão. [PJEII-13240] - Removendo job da remessa antiga.

25 Principais melhorias na r16-7/11/2013 [PJEII-13239] - Removendo a execução do job de gerar boletim estatístico. [PJEII-13223] - Performance - Suprimir itens de visualização do processo [PJEII-12724] - Remoção do component suggest para a pesquisa de destinatários no PAC [PJEII-13222] - Mover as consultas dos agrupadores do painel do advogado e do magistrado para a base replicada. [PJEII-13200] - Atualização do certificado do CNJ para acesso a Receita Federal.

26 Pool conexões pré r16

27 Pool conexões pós r16

28 Uso das Bases Bases replicadas terminando em 131

29

30 Comparação r14 com r16

31 Eventos pré r16

32 Eventos pós r16

33 Transações mais lentas pré r16

34

35 Transações mais lentas pós r16

36

37 Erros em transações pré r16

38 Erros em transações pós r16

39 Tempo de resposta x carga pré r16

40 Tempo de resposta x carga pós r16

41 Violação de saúde pré r16

42 Violação de saúde pós r16

43 Consulta processual login/ senha

44

45

46

47

48

49 Conclusão Precisamos urgentemente melhorar todas as consultas Melhorar forma de lidar com objetos em JPA: ex.: "distinct o" é um dos vilões