Reindexação Automática em SGBDs Relacionais

Transcrição

1 Reindexação Automática em SGBDs Relacionais Eduardo Morelli Ana Carolina Almeida José Maria Monteiro Sérgio Lifschitz Atualmente, aplicações de BD são complexas Grandes volumes de dados Baixo tempo de resposta em consultas Elevada vazão (throughput) das transações A sintonia (tuning) das estruturas de índices Influencia o desempenho dos SGBDs Tarefa complicada (criar/remover/recriar ) Requer um profundo conhecimento acerca dos detalhes de implementação dos SGBDs, dos dados armazenados, da carga de trabalho, etc. : sintonia automática de índices Análise automática da carga de trabalho Criação, remoção e recriação automática das estruturas de índices 2/27 1

2 Quiet (Query-Driven Index Tuning) Sugestão automática de criação de índices Aplicações Middleware (Quiet) SGBD DB2 Cláusulas SQL Baseada em comandos proprietários DB2 Necessidade de reescrever aplicações existentes (cláusulas SQL) Impossibilidade de gerência de carga de trabalho submetida diretamente ao SGBD 3/27 COLT (Continuos On-Line Tuning) Monitora as consultas submetidas ao SGBD Ajuste automático da configuração de índices (criação e remoção) Implementado junto ao Cada consulta é otimizada uma vez para cada índice candidato Sobrecarga [Luhring et al 2007] Monitoramento contínuo + Periodicamente soluciona o ISP (criação/remoção) Segue o ciclo Observação/Predição/Reação Cada consulta é otimizada duas vezes 4/27 2

3 AutoAdmin Online Extensão do SQL Server 2005 Executa continuamente e reage a variações na carga de trabalho ou nos dados Modifica automaticamente o projeto físico do BD (criação e remoção) Cada consulta é executa uma única vez Grupo de Auto-sintonia em BD Puc-Rio Índices Hipotéticos + de Benefícios Criação e remoção automática de índices Implementado junto ao 5/27 Problema ao lidar com índices fragmentados Não consideram recriação automática de índices fragmentados Alto número de inserção, atualização ou eliminação Particionamento de página de disco Page Split 6/27 3

4 Influencia o benefício do índice Prejudica a execução de consultas que tenham varreduras ou alta seletividade Maior consumo de espaço físico A remoção de um índice fragmentado para posterior criação pode gerar um overhead desnecessário > Duração de execução da consulta Baixa velocidade no acesso aos dados (E/S) > Consumo de recursos > Custo de processamento de consulta 7/27 Uso de índice - Otimizador Seletividade < determinado valor limítrofe Tabela Venda tuplas Coluna num prodnum data qtd valor Tipo integer integer date integer numeric(10,2) 8/27 4

5 Tabela Venda2 Inicialmente vazia tuplas (20 x ) Índice criado: Ind2 Campo num Inserção de mais de registros Conseqüência: Índice Fragmentado! 9/27 Índice Fragmentado: DBCC SHOWCONTIG scanning 'venda2' table... Table: 'venda2' ( ); index ID: 2, database ID: 8 LEAF level scan performed. - Pages Scanned...: Extents Scanned...: Extent Switches...: Avg. Pages per Extent...: Scan Density [Best Count:Actual Count]...: 12.50% [21743:173937] - Logical Scan Fragmentation...: 99.22% - Extent Scan Fragmentation...: 0.41% - Avg. Bytes Free per Page...: Avg. Page Density (full)...: 87.48% DBCC execution completed. If DBCC printed error messages, contact your system administrator. 10/27 5

6 Consulta submetida: SGBDs: select sum(valor) from venda2 where num between 5 and or num between and or num between and or num between and or num between and or num between and or num between and Oracle 9i MS SQL Server /27 dos Testes Fator Antes Depois Diferença Espaço 1.231,74 MB 957 MB -22,30% Duração 30s 28s -6,67% Custo ,11% SQL Server Fator Antes Depois Diferença Espaço 1.366,52 MB 1.193,01 MB -12,70% Duração ms ms -16,16% Custo ,116-4,72% Oracle Fator Antes Depois Diferença Espaço MB MB -5,47% Duração 4s 3s -25% Custo ,14% 12/27 6

7 Evitar malefícios causados por índices fragmentados Automatizar a recriação de índices fragmentados Utilizar heurística para automação Independer de interações com DBA 13/27 por HRAI Possui dois pilares: Enumeração de índices candidatos (hipotéticos) BA i = 0 Acompanhamento de índices (hipotéticos e reais) Estende a heurística de benefícios 14/27 7

8 por Estratégia da heurística HRAI Carga de Trabalho SGBD Benefício Acumulado (Índice) (Negativo) && ( Benefício > Custo de criação ) Eliminação do Índice Regras Índice Fragmentado Recriação do Índice 17/27 por A decisão sobre a recriação analisa: Grau de (GrF) GrF = [ (Ra / Ri) * 100] R = quantidade de tuplas de uma tabela / quantidade de blocos do índice Tamanho do índice/qtd de Páginas (T i ) Quantidade de varreduras (scans) executadas sobre o índice (V) Razão Atual Razão Inicial 18/27 8

9 Idéia Deixar uma margem (espaço livre em cada página de índice) para futuras atualizações HRAI Define um fator de preenchimento com base no histórico de varreduras F = 10 [ (V + 10) div 10] (Comandos estendidos) create index, reindex index e reindex table Cláusula fillfactor (1 a 9) 19/27 Otimizador Metabase Tuplas e Páginas Tabelas e Índices (Funções úteis) pgstattable: quantidade real de páginas e tuplas de uma tabela pgstatindex (extensão comando getsize): quantidade real de páginas e tuplas de um índice 20/27 9

10 HRAI Executa de forma simultânea com demais serviços do SGBD Funcionalidades: Novo Índice (recém criado) Solicitação de Tamanho do Índice Cálculo de Razão Solicitação do No. de Varreduras Cálculo de Grau de Reconstrução caso GrF, V e T i atendam a determinados limites P/ cada índice (2 momentos) 21/27 Agente Desfragmentador X Agente de Benefícios 22/27 10

11 Implementação no Arquivo de inicialização (postgresql.conf) GrF, V, T i e default_fillfactor Valores utilizados: GrF = 50, V = 2, T i = 800 e default_fillfactor = 9 (90% de preenchimento de páginas) Comando evaluate (extensão) Operação Agente Eliminação da fase de execução Agilidade de processamento 23/27 Tabela Venda tuplas Comandos submetidos: evaluate select prodnum, valor, data, qtd from venda where num = 10000; evaluate select prodnum, valor, data, qtd from venda where num between and 10020; update venda set num = num ; evaluate update venda set num = num ; Reconstruído índice ri_venda_0 com fillfactor 8 24/27 11

12 Demais comandos submetidos: Select table_number_blocks, index_len, index_number_blocks from pgstatindex ('venda', 'ri_venda_0'); evaluate select prodnum, valor, data, qtd from venda where num between and 10020; evaluate update venda set num = num ; Índice ri_venda_0 destruído; 25/27 Conclusões Conclusões Contribuições O mecanismo proposto possibilita automatizar a recriação de índices fragmentados Abordagem contínua, automática e independente de DBAs Um protótipo foi implementado junto ao código do Os testes realizados comprovaram a viabilidade das idéias propostas 26/27 12

13 Conclusões Conclusões Trabalhos Futuros Pré-criação de índices (Chaves primárias e estrangeiras) Verificar a necessidade de recriação antes da eliminação iminente Uso de alertas a partir de níveis de fragmentação pré-configurados (thresholds) 27/27 13