In-Memory Database Internals DPB304

Transcrição

1 In-Memory Database Internals DPB304

2 In-Memory Database Internals Alberto Lima Senior Premier Field Engineer-SQL Server Frederico Guimarães Santos Premier Field Engineer SQL Server

3 Tendência de Hardware Tendência de Hardware Aumento de Processadores CPU Clock estável. Tendência nos ambientes OLTP Aumento throughput Baixa latencia Alta concorrência

4 In-Memory Introdução Dados sempre em Memória In-Memory não é PINTABLE Estrutura de dados totalmente nova Alta concorência Não utiliza o conceito de páginas Lock e LATCH Free Novo modo de concorrência pra controle de transações. Native Compiled Store Procedure Menos instruções de CPU Store Procedure Compilada em Código Nativo.

5 Throughput (TPS) Performance Contenção por Latch Página de 8K em Memória T1 - Writer T2 - Writer T3 - Reader Number of threads Identity incremental 5

6 Performance Contenção por Latch 6

7 Throughput (TPS) In-Memory - Estrutura BUCKETS de 8k Hash Index Nome 000 Silas Colunas Gentile Colunas Fred Colunas Marcio Colunas Alberto Colunas Dados espalhados pela Memória Função de HASH embutida Number of threads 7

8 In-Memory Native Compilation CREATE TABLE DDL Code generation and compilation Table DLL produced Table DLL loaded

9 In-Memory Native Compilation Faz parte do processo do SQLSevr.exe

10 In-Memory Native Compilation In-Memory não é PINTABLE Estrutura de dados totalmente nova Não utiliza o conceito de páginas Lock e LATCH Free Novo modo de concorrência pra controle de transações. Menos instruções de CPU Store Procedure Compilada em Código Nativo.

11 In-Memory Indexes Hash Index Nome f(alberto) f(fabricio) f(fred) Timestamps Chain ptrs 100: INSERT (Alberto, São Paulo) Nome Cidade 100, Alberto São Paulo Payload 150, Fabricio São Paulo Payload 250, Fred Campinas Payload 150: INSERT (Fabricio, São Paulo) 250: INSERT (Fred, Campinas) f(são Paulo) f(campinas) Hash Index Cidade

12 In-Memory Indexes Hash Index Nome f(alberto) f(fabricio) f(fred) Timestamps Chain ptrs Nome Cidade 100, Alberto São Paulo Payload 150, 300 Fabricio São Paulo Payload 300: UPDATE (Fabricio, São Paulo) para (Fabricio,Campinas) f(são Paulo) 300, Fabricio Campinas Payload 250, Fred Campinas Payload f(campinas) Hash Index Cidade

13 In-Memory Indexes f(alberto) Hash Index Nome (Fabricio) f(fred) Timestamps Chain ptrs Nome Cidade 100, Alberto São Paulo Payload 150, 300 Fabricio São Paulo Payload 250, 400 Fred Campinas Payload 400: DELETE (Fred, Campinas) f(são Paulo) 300, Fabricio Campinas Payload f(campinas) Hash Index Cidade

14 In-Memory Indexes Hash Index Nome f(alberto) (Fabricio) f(fred) Timestamps Chain ptrs Nome Cidade 100, Alberto São Paulo Payload 150, 300 Fabricio São Paulo Payload 300, Fabricio Campinas Payload 250, 400 Fred Campinas Payload 500: Garbage Collection Hash Index Cidade

15 Hash Index - Tips Index Non-Clustered Hash na tabela CLIENTE ( CIDADE, ESTADO ) Hash Index é diferente portanto pense diferente SELECT COD_CLIENTE, TELEFONE, CEP, CIDADE, ESTADO FROM CLIENTE WHERE CIDADE = 'SAO PAULO' Buckets counts = 1-2 Quantidade de registros distintos! Muitos Buckets = SCANs mais lentos. Poucos Buckets = Colision e Lentidão dobrada

16 Non-Clustered Index Non-Clustered Range Index Page Mapping Table 0 PAGE 1 PAGE 2 3 Physical PageID-3 Root Não tem latch para atualização de Páginas Não tem in-place updates nas páginas de Index Page size- up até 8K. Indice somente em uma direção Só o ID do indice no left level PageID-0 PageID Non-leaf pages PageID-6 Logical PageID Leaf pages , 1 50, , Key Key Data rows

17 Demo

18 In-Memory Melhorias - SQL Server 2016 Usa até 4 sockets Tabelas em memória de 2TB Suporte a TDE Suporte a DML triggers - AFTER Sem limitação a uso de dados do tipo LOB Faz uso de Paralelismo

19 In-Memory What is New SQL Server 2016 ALTER PROC and sp_recompile supported Online ALTER TABLE for schema and index changes Full schema change support: add/alter/drop column/constraint FOREIGN KEY CHECK UNIQUE constraints and indexes Index operations ALTER TABLE is an offline operation; requires 2X memory Sem necessidade de BIN2 Collation para Hash Indexes (Performance)

20 In-Memory What is New SQL Server 2016 LEFT RIGHT} OUTER JOIN Disjunction (OR, NOT) UNION [ALL] SELECT DISTINCT Subqueries (EXISTS, IN, scalar)

21 In-Memory Storage Transaction Logging Hash Tabelas In-Memory Agrupa 24KB em um único registro Commit Only Não grava alteração nos Indexes Considere Lazy Commit SCHEMA_ONLY Log File Disco lento WAIT_TYPE = WRITE_LOG Use SSD

22 Checkpoint File Pair In-Memory Storage Data File Transaction Timestamp Range TS (ins) RowId TableId Row pay load TS (ins) RowId TableId TS (ins) RowId TableId Row pay load Row pay load Data File contém as linhas dentro de um range específico. Delta File TS (ins) RowId TS (del) TS (ins) RowId TS (del) TS (ins) RowId TS (del) Delta File contém as linha deletadas dentro de um range específico.

23 In-Memory Storage Data/Delta Files Tabelas In-Memory Hash Memory-optimized data Filegroup DELETE APENAS INSERE O ID NO DELTA FILE INSERTS Log File ~ 1GB

24 In-Memory Storage SQL Server 2014 Tamanho máximo de tabelas duráveis é de até 512 GB Tamanho limitado devido a quantidade de pares (Data / Delta Files) 256GB Processo de checkpoint independente para tabelas In-memory e tabelas em disco SQL Server 2016 Suporta tabelas de até 2TB Limite pode ser extendido com adição de mais memória no Servidor

25 In-Memory Storage Merge Operation Memory Optimize Filegroup % 40% Required for Backup/HA= É necessário rodar o Backup

26 In-Memory What s is New SQL Server 2014 Desafio: Storage para linhas excluídas para ser Garbage Colleted SQL Server 2016 Gerenciamento de armazenamento é desacoplada do FileStream. Arquivo não utilizado (s) pode ser re-utilizado imediatamente após eles são referenciados do log de transações

27 Offline Checkpoint Thread SQL 2014 ~ 1GB Offline Checkpoint Thread Log Memory-optimized data Filegroup SQL Server 2014 Limitação: Escalando acima de > (2 socket/64-cores)

28 Offline Checkpoint Thread SQL 2016 ~ 1GB Offline Checkpoint Thread One Thread per container Log Offline Checkpoint Thread Offline Checkpoint Thread SQL Server 2016 Memory-optimized data Filegroup

29 Evento de encerramento do Microsoft Insights Week com Satya Nadella, CEO da Microsoft. Dia 29 de setembro AMCHAM - Rua da Paz 1431 Chácara Santo Antônio - SP Para se inscrever:

30 Q&A Visite o espaço Ask the Experts, próximo dos expositores

31 Continue sua capacitação Microsoft Virtual Academy