com Consistência Eventual Gonçalo Cabrita e Nuno Preguiça NOVA LINCS 9 o INForum, Aveiro, Portugal, 13 de Outubro de 2017

Transcrição

1 Replicação Não Uniforme com Consistência Eventual Gonçalo Cabrita e Nuno Preguiça NOVA LINCS 9 o INForum, Aveiro, Portugal, 13 de Outubro de 2017

2 Contexto O aumento de utilizadores tem forçado serviços a encontrarem novas formas de escalar Muitos serviços guardam os seus dados em key-value stores geo-replicadas Estas base de dados sacrificam a consistência dos dados em troca de alta-disponibilidade 1

3 Contexto O aumento de utilizadores tem forçado serviços a encontrarem novas formas de escalar Muitos serviços guardam os seus dados em key-value stores geo-replicadas Estas base de dados sacrificam a consistência dos dados em troca de alta-disponibilidade 1

4 Contexto O aumento de utilizadores tem forçado serviços a encontrarem novas formas de escalar Muitos serviços guardam os seus dados em key-value stores geo-replicadas Estas base de dados sacrificam a consistência dos dados em troca de alta-disponibilidade 1

5 Problema A informação guardada nestas base de dados aumenta rapidamente É tipicamente impossível manter todos os dados em todas as réplicas Alguns sistemas adoptam um modelo de replicação parcial Pode ser necessário contactar várias réplicas para responder a uma query 2

6 Problema A informação guardada nestas base de dados aumenta rapidamente É tipicamente impossível manter todos os dados em todas as réplicas Alguns sistemas adoptam um modelo de replicação parcial Pode ser necessário contactar várias réplicas para responder a uma query 2

7 Problema A informação guardada nestas base de dados aumenta rapidamente É tipicamente impossível manter todos os dados em todas as réplicas Alguns sistemas adoptam um modelo de replicação parcial Pode ser necessário contactar várias réplicas para responder a uma query 2

8 Problema A informação guardada nestas base de dados aumenta rapidamente É tipicamente impossível manter todos os dados em todas as réplicas Alguns sistemas adoptam um modelo de replicação parcial Pode ser necessário contactar várias réplicas para responder a uma query 2

9 Conseguimos criar um modelo de replicação onde qualquer réplica consiga responder a todas as operações de leitura sem guardar todos os dados? 2

10 Exemplo: máximo

11 Exemplo: máximo

12 Exemplo: máximo

13 Exemplo: máximo

14 Exemplo: máximo

15 Exemplo: máximo

16 Agenda Replicação Não Uniforme CRDTs Não Uniformes Avaliação Conclusão e trabalho futuro 9

17 Replicação Não Uniforme Um modelo de replicação onde todas as réplicas podem responder a todas as queries, mantendo apenas um subconjunto dos dados Réplicas do mesmo objeto não precisam de ter estados equivalentes, apenas necessitam de ter estados observavelmente equivalentes Para dois estados serem observavelmente equivalentes uma operação de leitura tem de devolver o mesmo resultado para ambos os estados 10

18 Replicação Não Uniforme Um modelo de replicação onde todas as réplicas podem responder a todas as queries, mantendo apenas um subconjunto dos dados Réplicas do mesmo objeto não precisam de ter estados equivalentes, apenas necessitam de ter estados observavelmente equivalentes Para dois estados serem observavelmente equivalentes uma operação de leitura tem de devolver o mesmo resultado para ambos os estados 10

19 Replicação Não Uniforme Um modelo de replicação onde todas as réplicas podem responder a todas as queries, mantendo apenas um subconjunto dos dados Réplicas do mesmo objeto não precisam de ter estados equivalentes, apenas necessitam de ter estados observavelmente equivalentes Para dois estados serem observavelmente equivalentes uma operação de leitura tem de devolver o mesmo resultado para ambos os estados 10

20 Replicação Não Uniforme

21 Consistência Eventual Um sistema replicado fornece consistência eventual num estado quiescente sse: 1. Cada réplica tiver executado todas as operações 2. O estado de quaisquer duas réplicas seja equivalente 12

22 Consistência Eventual Um sistema replicado fornece consistência eventual num estado quiescente sse: 1. Cada réplica tiver executado todas as operações 2. O estado de quaisquer duas réplicas seja equivalente 12

23 Consistência Eventual Um sistema replicado fornece consistência eventual num estado quiescente sse: 1. Cada réplica tiver executado todas as operações 2. O estado de quaisquer duas réplicas seja equivalente 12

24 Consistência Eventual Não Uniforme (NuEC) Um sistema replicado fornece consistência eventual não uniforme num estado quiescente sse: 1. Cada réplica tiver executado um conjunto de operações que tenham impacto no estado observável final 2. O estado de quaisquer duas réplicas seja observavelmente equivalente 13

25 Consistência Eventual Não Uniforme (NuEC) Um sistema replicado fornece consistência eventual não uniforme num estado quiescente sse: 1. Cada réplica tiver executado um conjunto de operações que tenham impacto no estado observável final 2. O estado de quaisquer duas réplicas seja observavelmente equivalente 13

26 Consistência Eventual Não Uniforme (NuEC) Um sistema replicado fornece consistência eventual não uniforme num estado quiescente sse: 1. Cada réplica tiver executado um conjunto de operações que tenham impacto no estado observável final 2. O estado de quaisquer duas réplicas seja observavelmente equivalente 13

27 Algoritmo para NuEC O objetivo principal é dividir as operações em quatro grupos: 1. Operações que são core 2. Operações que são forever masked 3. Operações que são masked mas podem tornar-se core 4. Operações que são masked mas tendo em conta todas as operações do sistema seriam consideradas core 14

28 Algoritmo para NuEC O objetivo principal é dividir as operações em quatro grupos: 1. Operações que são core 2. Operações que são forever masked 3. Operações que são masked mas podem tornar-se core 4. Operações que são masked mas tendo em conta todas as operações do sistema seriam consideradas core 14

29 Algoritmo para NuEC O objetivo principal é dividir as operações em quatro grupos: 1. Operações que são core 2. Operações que são forever masked 3. Operações que são masked mas podem tornar-se core 4. Operações que são masked mas tendo em conta todas as operações do sistema seriam consideradas core 14

30 Algoritmo para NuEC O objetivo principal é dividir as operações em quatro grupos: 1. Operações que são core 2. Operações que são forever masked 3. Operações que são masked mas podem tornar-se core 4. Operações que são masked mas tendo em conta todas as operações do sistema seriam consideradas core 14

31 Algoritmo para NuEC O objetivo principal é dividir as operações em quatro grupos: 1. Operações que são core 2. Operações que são forever masked 3. Operações que são masked mas podem tornar-se core 4. Operações que são masked mas tendo em conta todas as operações do sistema seriam consideradas core 14

32 Agenda Replicação Não Uniforme CRDTs Não Uniformes Avaliação Conclusão e trabalho futuro 15

33 Top-K com remoções Conjunto de tuplos (identificador, pontuação) Duas operações de escrita ADD(id, pontuaç~ao): associa uma nova pontuação com id RMV(id): remove todas as pontuações associadas com id 16

34 Top-K com remoções Conjunto de tuplos (identificador, pontuação) Duas operações de escrita ADD(id, pontuaç~ao): associa uma nova pontuação com id RMV(id): remove todas as pontuações associadas com id 16

35 Top-K com remoções Conjunto de tuplos (identificador, pontuação) Duas operações de escrita ADD(id, pontuaç~ao): associa uma nova pontuação com id RMV(id): remove todas as pontuações associadas com id 16

36 Top-K com remoções Conjunto de tuplos (identificador, pontuação) Duas operações de escrita ADD(id, pontuaç~ao): associa uma nova pontuação com id RMV(id): remove todas as pontuações associadas com id 16

37 Top-1 com remoções 17

38 Top-1 com remoções Maria, 90 18

39 Top-1 com remoções Maria, 90 Maria, 90 19

40 Top-1 com remoções Maria, 90 João, 80 Maria, 90 20

41 Top-1 com remoções Maria, 90 João, 80 Maria, 90 21

42 Top-1 com remoções Maria, 90 João, 85 João, 80 Maria, 90 22

43 Top-1 com remoções Maria, 90 João, 85 Maria, 90 João, 80 23

44 Top-1 com remoções Maria, 90 João, 85 Maria, 90 24

45 Top-1 com remoções Maria, 90 João, 85 Maria, 90 25

46 Top-1 com remoções Maria, 90 João, 85 Maria, 90 26

47 Top-1 com remoções João, 85 João, 85 27

48 Agenda Replicação Não Uniforme CRDTs Não Uniformes Avaliação Conclusão e trabalho futuro 28

49 Avaliação EU-W EU-C US-E US-W AP-NW B1 B2 B3 B4 B5 29

50 Avaliação EU-W EU-C US-E US-W AP-NW B1 B2 B3 B4 B5 29

51 Top-K com remoções: custo de disseminação Tamanho total das mensagens (MBs) k NuCRDT, f=0 NuCRDT, f=1 NuCRDT, f=2 CRDT 10k 15k 20k 25k 30k 35k 40k 45k 50k Número de operações Figura 1: Tamanho total de mensagens 30

52 Top-K com remoções: tamanho médio das réplicas Tamanho médio das réplicas (MBs) 1,8 1,6 1,4 1,2 1 0,8 0,6 0,4 0,2 0 5k NuCRDT, f=0 NuCRDT, f=1 NuCRDT, f=2 CRDT 10k 15k 20k 25k 30k 35k 40k 45k 50k Número de operações Figura 2: Tamanho médio das réplicas 31

53 Top-K com remoções: escalabilidade 300 Carga: 95% adições, 5% remoções NuCRDT, f=0 NuCRDT, f=1 NuCRDT, f=2 CRDT Laténcia média (ms) Taxa de transferência média (ops/segundo) Figura 3: Escalabilidade 32

54 Agenda Replicação Não Uniforme CRDTs Não Uniformes Avaliação Conclusão e trabalho futuro 33

55 Conclusão Introduzimos o modelo de replicação não uniforme e formalizamos a sua semântica para um sistema de consistência eventual Mostrámos como o modelo pode ser aplicado a CRDTs Implementámos um CRDT não uniforme numa base de dados geo-replicada, e avaliámos o seu desempenho 34

56 Conclusão Introduzimos o modelo de replicação não uniforme e formalizamos a sua semântica para um sistema de consistência eventual Mostrámos como o modelo pode ser aplicado a CRDTs Implementámos um CRDT não uniforme numa base de dados geo-replicada, e avaliámos o seu desempenho 34

57 Conclusão Introduzimos o modelo de replicação não uniforme e formalizamos a sua semântica para um sistema de consistência eventual Mostrámos como o modelo pode ser aplicado a CRDTs Implementámos um CRDT não uniforme numa base de dados geo-replicada, e avaliámos o seu desempenho 34

58 Trabalho futuro Investigar a aplicabilidade deste modelo de replicação a outros modelos de consistência mais fortes Criar tipos de dados uteis para ambientes de Big Data e Machine Learning 35

59 Trabalho futuro Investigar a aplicabilidade deste modelo de replicação a outros modelos de consistência mais fortes Criar tipos de dados uteis para ambientes de Big Data e Machine Learning 35

60 Questões? 35