Uma Análise Experimental de Desempenho dos Protocolos de Armazenamento AoE e iscsi

Transcrição

1 Uma Análise Experimental de Desempenho dos Protocolos de Armazenamento AoE e iscsi Pedro Eugênio Rocha 1 Leonardo Antônio dos Santos 2 1 Universidade Federal do Paraná (UFPR) 2 Faculdades Integradas do Brasil (UniBrasil)

2 Sumário Introdução SANs Protocolos de armazenamento remoto Trabalhos relacionados Metodologia Experimentos Discussão Conclusão

3 Storage Area Networks (SANs) Tradicionalmente (DAS):

4 Storage Area Networks (SANs) Tradicionalmente (DAS):

5 Storage Area Networks (SANs) Tradicionalmente (DAS): RAID Volume Managers (LVM)

6 Storage Area Networks (SANs) Datacenter:

7 Storage Area Networks (SANs) Datacenter: Problemas: Gerenciamento Backups Flexibilidade Compartilhamento

8 Storage Area Networks (SANs)

9 Storage Area Networks (SANs)

10 Storage Area Networks (SANs) Protocolos: Fibre Channel iscsi AoE

11 SANs - Protocolos Fibre Channel Encapsula comandos SCSI Implementação própria das camadas de rede FC{0,1,2,3,4} Hardware especializado e dedicado (e caro!) Custo Switches Cabeamento HBAs Complexidade 4 ou 8 Gbps

12 SANs - Protocolos iscsi Encapsula comandos SCSI em pacotes IP Vantagens por utilizar rede IP Custo Complexidade Overhead (IP) Interoperabilidade Roteamento Criptografia VLANs

13 SANs - Protocolos AoE (ATA over Ethernet) Encapsula comandos ATA sobre Ethernet (layer 2) Simplicidade Custo Complexidade Overhead (layer 2) Funcionalidade Ethernet 1 / 10 / 40 Gbps

14 SANs - Protocolos

15 Trabalhos Relacionados Análises individuais de protocolos: FC Varma et al. (1993); Lin et al. (1994); Tan et al. (2005). iscsi Aiken et al. (2003); Lu et al. (2003); Xinidis et al. (2005). AoE Zhou et al. (2009). FC e outros protocolos: iscsi Fonseca et al. (2009). iscsi e Infiniband Voruganti et al. (2001); Follet et al. (2001).

16 Trabalhos Relacionados Comparações entre iscsi e AoE: Gerdelan et al. (2007) Chuang et al. (2009) Cost effective networks Baseadas em Ethernet. Microbenchmarks Vazão Processamento. Modelagem matématica Microbenchmarks Vazão Processamento

17 Metodologia Microbenchmark não é suficiente! Representam situações muito específicas de uso. Workloads de sistemas reais são mais complexos. Desempenho percebido depende de vários fatores (processamento, rede, caches)

18 Metodologia Metodologia adotada neste trabalho Microbenchmarks: Estabelecer uma linha de base. Ajudam a interpretar resultados mais complexos. Macrobenchmarks: Workloads sintéticos. Simulam comportamento de sistemas reais. Variando quantidade de memória (caches) e MTU. Medindo vazão de disco, utilização de CPU e rede.

19 Ambiente de Testes Target Dois Xeon 3.47 GHz six-core 64 GB Discos SCSI 10k 300 GB Initiator Dois Xeon 3 GHz dual-core 8 GB Discos SCSI 10k 146 GB Interligadas por Ethernet 1 Gigabit dedicada.

20 Microbenchmarks Fio: Acesso sequencial Leitura sem cache AoE é ~20% melhor Leitura com cache Mesmo resultado (read-ahead)

21 Macrobenchmarks Workloads filebench: Webserver Fileserver Varmail OLTP Open-read-close, write (log) arquivos de 16 KB. Create, delete, read, write e meta-data arquivos de 128 KB. Create-append-sync, read e delete. Simula um banco de dados Oracle 9i.

22 Macrobenchmarks - Vazão (a) Webserver (b) Fileserver (c) Varmail (d) Oltp Vazão de disco

23 Macrobenchmarks - Vazão (a) Webserver (b) Fileserver (c) Varmail (d) Oltp Desempenho semelhante em workloads de leitura predominante com cache suficiente.

24 Macrobenchmarks - Vazão (a) Webserver (b) Fileserver (c) Varmail (d) Oltp iscsi 9% superior em escrita predominante. Caches no initiator.

25 Macrobenchmarks - Vazão (a) Webserver (b) Fileserver (c) Varmail (d) Oltp OLTP: AoE é sempre melhor. Operações sempre síncronas (O_DIRECT).

26 Macrobenchmarks - CPU Em todos os casos, iscsi consome mais CPU OLTP Utilização de CPU

27 Macrobenchmarks - Rede Webserver Quanto mais memória, menos dados trafegam na rede. iscsi tem menor eficiência de uso de rede. Em média, 3%. Aumentar o MTU aumenta eficiência. Utilização de rede

28 Resumo: Em média, AoE apresenta melhor desempenho ~9%. Contudo, com memória suficiente, iscsi iguala em leituras e melhora as escritas. Use iscsi! Em workloads que não utilizam exaustivamente caches, como OLTP, iscsi é menos eficiente. Finalmente, iscsi apresenta overhead de CPU de 19% e 3% de rede, quando comparado ao protocolo AoE.

29 Conclusão Apresentamos uma análise experimental de desempenho dos protocolos AoE e iscsi. Conjunto de experimentos baseados em microbenchmarks e macrobenchmarks. Análise em termos de vazão de disco, utilização de CPU e rede. Trabalhos futuros: Análise de escalabilidade. Confiabilidade. Interações com sistemas de arquivos.

30 Obrigado! Perguntas?