Armazenando Séries de Dados Temporais em Bases de Dados Alternativas

Transcrição

1 Armazenando Séries de Dados Temporais em Bases de Dados Alternativas André Carlucci Diretor de Tecnologia Way2.Net MVP, Intel Innovator, Intel Black

2 O que são séries temporais?

3 Uma série temporal é uma sequência de medições coletadas normalmente em ordem cronológica com um intervalo fixo. Mr. Wikipedia, (2004), TimeSeries

4 A long time ago in a galaxy far far away

5 Get the data!

6 250 Medidores 154 Grandezas (5, 15 ou 60 minutos) 2.5M/registros dia

7 s Not that much

8 TB_MEDIDOR Id Medidor Nome Serial TB_MEDIDOR_ENE Id Medidor Timestamp Energia Ativa In Energia Ativa Out Energia Reativa In Energia Reativa Out Mesmo para engenharia, qualidade, etc...

9

10 Vida em 2005 Elipse E3 Server Oracle 8i Asp.Net Clássico

11 Fast Forward 2015

12 10 anos depois

13

14 10 anos depois

15 200K Medidores 14 Grandezas (5 minutos) 806M/registros dia

16 s Considerável

17 Leituras a cada 6 horas: 201M

18 A forma atual aguenta?

19 Quebra em Microservices Bulk Insert Way2 PdC Validador DataIn

20 Repensando a forma de armazenar

21 Modelo original (tall storage): Timestamp Id Energia Ativa In 1/1/ :00 1/1/ :05 1/1/ :10 Energia Ativa Out Energia Reativa In Energia Reativa Out

22 Modelo original (tall storage): The Bad: Locks com inserção paralela de grandezas Timestamp Id Energia Insert or update Ativa In Ruim para bulk insert 1/1/ :00 1/1/ :05 1/1/ :10 Energia Ativa Out Energia Reativa In Energia Reativa Out

23 Wide Storage, por grandeza: Id Day 00:05 00:10 00:15 1 1/1/ /1/ /1/

24 Modelo Wide The Bad: Storage, original por (tall grandeza: storage): Complexidade de inserts, queries e group by. Timestamp Id Id Day Energia 00:05 Energia 00:10 Energia 00:15 Energia Não suporta integralizações 1 1/1/2016Ativa In 0Ativadiferentes. Out 12.2 Reativa In Reativa 0 Out Ruim para bulk insert 1/1/ /1/ :00 1/1/ /1/ :05 1/1/ :10

25 Tall Storage, por grandeza, por ano: Timestamp Id Valor 1/1/ : /1/ : /1/ : Tb_EnergiaAtiva_2015, Tb_EnergiaAtiva_2016

26 Modelo Tall Wide Storage, original por por (tall grandeza, grandeza: storage): por ano: Nossa Escolha em termos de sql: Timestamp Id Id Day Energia 00:05 Energia 00:10 Energia 00:15 Energia Simples Timestamp 1 1/1/2016Ativa In Id 0Ativa Out 12.2 ReativaValor In Reativa 0 Out Bulk 1/1/2005 Insert 10:00 sem medo /1/ /1/ :00 Sem locks nos inserts 1/1/ : /1/2005 Tabelas 1 auto-criadas 13 3/1/ :05 Backup 1/1/ :10 e restore super 1 simples /1/ :10 Tamanho das tabelas controlados ($)

27 TB_Medidor Id Medidor Serial TB_EnergiaAtiva Id Medidor Timestamp Valor Relacionamento entre Tabelas

28 TB_Medidor Id Medidor Serial TB_EnergiaAtiva Id Medidor Timestamp Valor Ganho de 28.7%

29 Separação das Bases Sql? Dados Relacionais Séries de Dados

30 Restrições

31 Bases de Dados Analisadas

32

33 4th base mais popular* Apache License Orientada a documentos *

34 Estratégia 1: Um documento por medição

35 { }, { } timestamp: ISODate(" T23:05:00.000Z"), id: 100 type: "energiaativa", value: 12 timestamp: ISODate(" T23:10:00.000Z"), id: 100 type: "energiaativa", value: 14 somente inserts

36 Estratégia 2: Schema orientado a documentos

37 { } day: ISODate(" T00:00:00.000Z"), type: "energiaativa", id : 100, values: { 1: { 0: 200, 1: 200,, 12: 100 },, 23: { 0: 160, 1: 120,, 12: 110 }, 24: { 0: 130, 1: 140,, 12: 150 } }

38 db.metrics.update( { day: ISODate(" T00:00:00.000Z"), id: 100, type: "energiaativa" }, { $set: {"values.10.01": 193 } } ) update preciso

39 Reads: Estratégia 1: 288 reads (dia) Estratégia 2: 1 read (dia)

40 Otimizações: Ter um job criando documentos vazios Definir ID como {timestamp}_{id} para range scans

41 Nossas impressões: Developer Friendly Instalação Simples Sharding Maduro

42

43 Base de dados feita para Séries de Dados

44 API - Write HTTP POST: EneatDel,Med=102 value= EneatDel,Med=102 value=

45 API - Read HTTP GET: SELECT value FROM EneatDel WHERE Med=102

46 Regras para retenção de dados Dados Delete dados com mais de um ano

47 Séries contínuas 5 MIN Agrupe dados por hora 1 DIA

48 Nossas impressões API Simples Queries poderosas Funcionalidades específicas Sharding (free até v0.11, depois pago) Imaturo ainda (v0.11, windows)

49 Outras alternativas Druid SiteWhere Newts Prometheus Graphite Axibase Infiniflux KairosDB Kdb+ Yanza Riak TS OpenTSDB Blueflood Cityzen Data TempoIQ Hawkular Metrics TimeSeries.Guru

50

51 Descrição Bytes DateStart 8 DateEnd 8 Current 8 Interval 4 Valor 1 8 Valor 2 8 Valor bytes N * 8 bytes 28 + (288 * 365d * 8) bytes = 821kB

52 API - Read GET:

53 API - Write POST: { Data: T00:05, Value: 100 },

54 Query: Id: med/12/energiaativa Inicio: 30/03/2016 Fim: 31/03/2016

55 Query: ache o arquivo Id: med/12/energiaativa Arquivo: c:\neutrino\db\med\12\energiaativa.ts

56 Query: ache o primeiro registro Pesquisa Início - Início Arquivo Intervalo Arquivo = Registros a pular

57 Query: ache o primeiro registro Header (28 bytes) 8B 8B 8B 8B 8B 8B 8B 8B 8B 8B 8B Registros a pular

58 Query: ache o número de registros (Fim início) / Intervalo Arquivo: 31/03/ /01/2016 / 5min = 288

59 var data = new byte[registros * sizeof(double)]; var fs = new FileStream(path); fs.seek(offset); fs.readasync(data, 0, data.length); return Deserialize(data);

60 Nossas impressões Customizado Backup ultra simples Pouco espaço de armazenamento Pode ser incorporado a aplicação (C#) Ainda um experimento!!!

61 Storage Oracle Antigo Oracle Mongodb Influxdb Neutrino Medidor/Ano 8 MB 3.5 MB 1.9 MB 1.3 MB 0.8 MB 200K, 14 séries 106 TB 47 TB 25 TB 17 TB 10 TB

62 Conclusões Trate series de dados como series de dados.

63 Conclusões Influxdb nos pareceu a melhor opção, mas há muitas incertezas ainda.

64 Conclusões Apesar de tudo, um banco relacional continua sendo uma excelente opção, pois nem sempre a decisão é somente técnica.

65 Perguntas? André Carlucci Diretor de Tecnologia Way2.Net MVP, Intel Innovator, Intel Black

66 Obrigado! André Carlucci Diretor de Tecnologia Way2.Net MVP, Intel Innovator, Intel Black