MongoDB e EMC XtremIO

Transcrição

1 White paper: Validação de desempenho consistente, capacidade de scale-out sob demanda, redução de dados em linha e serviços ágeis de snapshot Resumo do EMC E-LabTM Vertical Solutions Group Este white paper fornece validação técnica para a implementação do MongoDB no array totalmente flash EMC XtremIO e explica os principais benefícios da solução. Maio de 2015

2 Copyright 2015 EMC Corporation. Todos os direitos reservados. A EMC assegura que as informações apresentadas neste documento estão corretas na data da publicação. As informações estão sujeitas a alterações sem prévio aviso. As informações contidas nesta publicação são fornecidas "no estado em que se encontram". A EMC Corporation não faz declarações nem oferece garantias de nenhum tipo relativas às informações desta publicação e especificamente se isenta de garantias implícitas de comercialização ou adequação a qualquer propósito específico. O uso, a cópia e a distribuição de qualquer software da EMC descrito nesta publicação exigem uma licença de software. Para obter uma lista mais atualizada de produtos da EMC, consulte EMC Corporation Trademarks em brazil.emc.com. Todas as marcas comerciais aqui mencionadas pertencem a seus respectivos proprietários. Número da peça H

3 Índice Resumo executivo... 4 Introdução... 5 MongoDB... 5 Business case... 5 Benefícios da solução XtremIO e MongoDB... 6 Desempenho consistente... 7 Testes de desempenho para a operação de banco de dados MongoDB no XtremIO... 7 Resumo do teste... 7 Detalhes do teste... 7 Desempenho e capacidade dimensionável sob demanda Redução econômica de dados em linha Eficiência geral para a redução do custo total da infraestrutura do MongoDB Serviços ágeis de snapshot e clone Clonagem do banco de dados MongoDB em minutos com snapshot do XtremIO Simplicidade no gerenciamento Proteção avançada de dados e alta disponibilidade Criptografia gratuita de dados em repouso Sobre o ambiente de teste Configuração de servidores Configuração de software Conclusão Referências

4 Resumo executivo Este documento fornece validação técnica para a implementação do MongoDB no array flash EMC XtremIO. Este white paper examina os benefícios da solução e fornece uma introdução para a implementação de um storage array XtremIO em um ambiente MongoDB, inclusive: Desempenho consistente com latências inferiores a um milésimo de segundo Desempenho e capacidade de scale-out sob demanda Redução considerável no armazenamento necessário para bancos de dados Criação de clones de banco de dados em minutos e sem interrupção Alta disponibilidade e segurança na infraestrutura de banco de dados Este documento se destina ao uso por desenvolvedores, engenheiros, administradores de armazenamento e de banco de dados, bem como parceiros que desejam implementar o storage array EMC XtremIO em um ambiente MongoDB. 4

5 Introdução MongoDB Business case O MongoDB é um dos principais bancos de dados de última geração e que ajuda as empresas a transformar seus setores aproveitando o poder dos dados. As empresas mais sofisticadas do mundo, de start-ups de ponta a empresas maiores, usam o MongoDB para criar aplicativos inéditos em uma fração do custo dos bancos de dados legados. O MongoDB é o ecossistema de banco de dados que cresce mais rapidamente, com mais de 9 milhões de downloads, milhares de clientes e mais de 750 parceiros de tecnologia e serviços. A maioria das implementações do MongoDB usa DAS (Direct Attached Storage, armazenamento com conexão direta), principalmente porque o DAS é inicialmente considerado simples, rápido e econômico. Quase todos os ambientes MongoDB começam em pequeno porte, com alguns nós e requisitos básicos de operações de banco de dados/s. Os desafios começam à medida que as empresas desejam dimensionar. As dificuldades surgem à medida que esses aplicativos de última geração ganham adoção mais ampla, resultando em crescimento e crescentes requisitos de desempenho da infraestrutura subjacente. Conforme o ambiente é dimensionado, podem surgir problemas com o DAS em torno da complexidade e ineficiência no gerenciamento de desempenho, capacidade e disponibilidade em ilhas de instâncias de DAS, aumentando os riscos e custos para a organização. Por esses motivos, muitas organizações de TI estão consolidando suas arquiteturas DAS MongoDB em AFAs (All-Flash Array, array totalmente flash) XtremIO. O XtremIO é o array totalmente flash líder que transforma as cargas de trabalho do MongoDB por meio de uma arquitetura totalmente flash consolidada, oferecendo scale-out, desempenho sob demanda e capacidade com latência consistente e inferiores a um milésimo de segundo para aplicativos. Um conjunto avançado de serviços de dados em linha e sem interrupções, inclusive desduplicação, compactação e serviços de snapshot com uso eficiente de espaço, garante que o XtremIO possa ser extremamente econômico quando comparado à arquitetura DAS para ambientes MongoDB. Ao contrário do DAS, o XtremIO também oferece criptografia avançada de dados em repouso e os serviços de disponibilidade mais avançados, inclusive upgrades sem interrupções tudo isso sem degradação do desempenho, mantendo os ambientes MongoDB disponíveis e protegidos. E a capacidade de consolidar ambientes com e sem produção juntamente com a clonagem em memória do XtremIO oferece novos recursos para o desenvolvimento ágil de aplicativos. 5

6 Benefícios da solução XtremIO e MongoDB O array totalmente flash EMC XtremIO é a escolha ideal para clientes que querem armazenamento scale-out fácil de usar, econômico e com desempenho consistente, com os benefícios adicionais de redução de dados e serviços de dados que o DAS não pode oferecer. Os benefícios para a implementação do MongoDB no XtremIO são os seguintes: Desempenho consistente Capacidade e desempenho de scale-out sob demanda Redução econômica de dados em linha Serviços ágeis de snapshot Administração e gerenciamento simples Proteção avançada de dados e alta disponibilidade Criptografia gratuita de dados em repouso Neste documento, vamos abordar cada uma dessas vantagens em detalhes. 6

7 Desempenho consistente O XtremIO é a plataforma de armazenamento ideal para acelerar bancos de dados MongoDB, fornecendo excelente velocidade transacional com latência consistentemente baixa. A distribuição de dados automaticamente balanceada do XtremIO possibilita um desempenho consistente em todo o ciclo de vida dos volumes, independentemente dos padrões de I/O, do posicionamento de dados ou do tamanho do cluster. Com os benefícios de algoritmos otimizados para flash e controladoras ativo-ativo, o XtremIO oferece desempenho consistente mesmo sob cargas de trabalho mistas. Além disso, esse desempenho permanece totalmente balanceado e a latência permanece abaixo de um milésimo de segundo mesmo em escala. Testes de desempenho para a operação de banco de dados MongoDB no XtremIO Os testes a seguir ilustram o desempenho consistente do XtremIO usando um cluster com dois X-Bricks e diferentes operações de consulta e gravação em um ambiente MongoDB. Executamos dois cenários de teste, utilizando o MongoPerf para simular diferentes operações do MongoDB em um volume do XtremIO. O MongoPerf é um utilitário para a verificação do desempenho de I/O de armazenamento independentemente do MongoDB. Ele registra e apresenta testes de I/O aleatório. Resumo do teste Cenário do teste Detalhes IOPS de armazenamento Latência Banco de dados Operações/s Teste 1 Simular operações de gravação de banco de dados do MongoDB em arquivo de teste de 1 TB (50% de leitura, 50% de gravação) < 0,25 ms Teste 2 Simular operação mista (consulta e gravação) do MongoDB em arquivo de teste de 1 TB (60% de leitura, 40% de gravação) < 0,25 ms Observação: a tabela acima ilustra o desempenho que pode ser esperado de um único nó MongoDB conectado a um cluster de X-Brick do XtremIO. Conforme mais nós são adicionados, um cluster de X-Brick duplo (como o usado no teste) é capaz de processar capacidades substancialmente maiores de largura de banda e I/O de armazenamento. Detalhes do teste Cenário do teste 1: Simular operações de gravação de banco de dados MongoDB com o MongoPerf O MongoPerf é executado com os seguintes parâmetros na LUN do MongoDB: nthreads:16, filesizemb: , mmf:true, r: false, w:true 7

8 Expansão do arquivo de teste (100% de operações de gravação) Volume de largura Volume de de banda largura em de MB/s banda durante em MB/s a expansão durante do a expansão arquivo de do teste de GB arquivo de teste de GB O gráfico mostra que o XtremIO foi de fácil dimensionamento até praticamente MB/s da largura de banda de gravação durante a expansão de um arquivo de teste de 1 TB devido à sua arquitetura de controladora ativo-ativo múltipla. Simulação de operações de banco de dados no arquivo de teste IOPS de armazenamento durante as operações de banco de dados 8

9 A latência de armazenamento se manteve constante em microssegundos durante as operações de banco de dados Cenário do teste 2: Simular operações mistas do banco de dados MongoDB com o MongoPerf O MongoPerf é executado com os seguintes parâmetros na LUN do MongoDB: nthreads:16, filesizemb: , mmf:true, r: true, w:true Expansão do arquivo de teste 9

10 Largura de banda do volume em MB/s durante a expansão do arquivo de teste de GB Simulação de operações de banco de dados no arquivo de teste IOPS de armazenamento durante as operações de banco de dados Latência de armazenamento em microssegundos durante as operações de banco de dados 10

11 Desempenho e capacidade dimensionável sob demanda O MongoDB pode ser facilmente dimensionado para oferecer um desempenho rápido e em tempo real para atender às necessidades dos negócios. O XtremIO é o único AFA que pode ser dimensionado para vários nós com aumentos lineares de IOPS, largura de banda e, é claro, capacidade tudo com a mesma latência consistente inferior a um milésimo de segundo. Conforme as necessidades de seu aplicativo MongoDB crescerem, o XtremIO dimensionará I/O e capacidade linearmente com latência consistente em paralelo sob demanda, tudo on-line. O sistema de armazenamento XtremIO é baseado em uma arquitetura de scaleout. O sistema começa com um só componente básico, chamado de X-Brick. Quando for necessário mais desempenho e mais capacidade, o sistema é redimensionado com a adição de X-Bricks. O desempenho é dimensionado de modo linear, garantindo que dois X-Bricks ofereçam o dobro de I/O, quatro X-Bricks ofereçam quatro vezes mais I/O e assim por diante em comparação à configuração com um único X-Brick. A latência permanece consistentemente baixa à medida que o sistema é redimensionado. Desempenho esperado 2 X-Bricks 4 X-Bricks 6 X-Bricks 8 X-Bricks Intervalo comum de perfil de I/O (10 a 40% IOPS 220K 300K 440K 600K 660K 900K 880K 1,2 milhão Latência < 1 ms < 1 ms < 1 ms < 1 ms Redução econômica de dados em linha Alinhando-se com os recursos de desempenho do MongoDB, o flash se torna um componente essencial da arquitetura subjacente; entretanto, o gerenciamento da economia do flash em uma implementação DAS tradicional se torna o desafio. Os recursos de redução de dados do XtremIO, que consistem em desduplicação de compactação, provisionamento thin e serviços de snapshot com economia de espaço, impulsionam uma economia extraordinária de dados, resultando em uma redução no custo total de propriedade. Diferentemente de outros arrays totalmente flash, todos os serviços de dados são ininterruptos e em linha, sem afetar o desempenho. Eficiência geral para a redução do custo total da infraestrutura do MongoDB Aproveitando os benefícios do provisionamento thin e da redução de dados em linha, o storage array XtremIO usado nesse teste atingiu uma eficiência geral de capacidade de 22:1. Com o uso de 27,083 TB de capacidade de volume, o XtremIO consumiu apenas 3,98 TB de capacidade física. Vale salientar que o requisito de capacidade de armazenamento foi reduzido em cerca de 7 vezes por meio de compactação e desduplicação ininterrupta. 11

12 Para obter mais informações sobre redução de dados, consulte "INTRODUÇÃO AO STORAGE ARRAY EMC XTREMIO (versão 3.0)" em Serviços ágeis de snapshot e clone O MongoDB fornece aos desenvolvedores a capacidade de aumentar significativamente a produtividade e oferecer um tempo de comercialização mais curto tanto em fluxos de trabalho tradicionais de teste/desenvolvimento quanto ágeis de DevOps. Operações de cópia de armazenamento tradicional não somente afetam o desempenho, mas também são extremamente lentas, difíceis e inúteis geralmente exigindo horas ou dias para criar cópias de força bruta, prejudicando a capacidade do Mongo de acelerar os ciclos de desenvolvimento ágil. Os serviços revolucionários de snapshot do XtremIO aprimoram processos ágeis e oferecem novos recursos que transformam seus negócios. Utilizando exclusivos snapshots em memória e instantâneos com desempenho completo, o XtremIO pode consolidar ambientes de teste/desenvolvimento e produção em uma só plataforma. Isso resulta no fornecimento de ambientes paralelos aos desenvolvedores, gerando quantas cópias for necessário sem afetar SLAs de produção. A consolidação dessas cargas de trabalho e snapshots melhora o TCO, acelera o fluxo de trabalho e até mesmo permite que cópias de desenvolvimento sejam testadas com eficiência no ambiente real de produção, tornando o código melhor. Para obter mais informações sobre o Snapshot do XtremIO, consulte "INTRODUÇÃO AO STORAGE ARRAY EMC XTREMIO (versão 3.0)" em 12

13 Clonagem do banco de dados MongoDB em minutos com snapshot do XtremIO Os clientes podem utilizar o XtremIO para clonar cópias de backup, teste/desenvolvimento e produção do banco de dados. O desempenho do clone será idêntico ao do volume de produção. A cópia de um banco de dados de um nó para outro pode ser feita nas 4 etapas a seguir. (Observação: para obter um estado consistente do aplicativo, todas as operações necessárias precisam ser feitas no banco de dados e no sistema operacional antes de fazer a cópia) Etapa 1: obter e nomear uma cópia nos volumes que hospedam o banco de dados Etapa 2: conectar a cópia ao host de destino com 4 cliques 13

14 Etapa 3: examinar e montar o snapshot no host de destino. Por exemplo, no Linux você pode usar # rescan-scsi-bus.sh -i -r Editar /etc/fstab e adicionar o conteúdo correto /dev/mapper/mpathb1 /mongodb ext4 discard,noatime 1 2 #mount /mongodb Etapa 4: iniciar o banco de dados apontando dbpath para o snapshot Mongod --dbpath /mongodb/data --logpath /mongodb/log/config.log --port fork Um clone MongoDB é criado. Os clientes podem utilizar esse clone MongoDB para desenvolvimento e teste paralelamente à produção. Simplicidade no gerenciamento O MongoDB precisa ser executado em uma plataforma de armazenamento compatível com sua facilidade de uso. Implementações de DAS em grande escala resultam em ilhas de armazenamento que são ineficientes e difíceis de gerenciar. Sempre que um servidor é adicionado ao ambiente para acompanhar os maiores requisitos de aplicativo, a complexidade do gerenciamento fica ainda pior, pois cada servidor precisa ser administrado separadamente. Ao contrário do DAS, o XtremIO pode consolidar todos os aplicativos e clusters mongo em uma plataforma simples, para que você nunca precise se preocupar com a supervisão de incontáveis silos de armazenamento. Assim como a facilidade de uso do MongoDB, o XtremIO é extremamente fácil de configurar e gerenciar, sem nenhuma configuração de RAID, sem classificação por níveis e sem a necessidade de configurações de otimização e ajuste manual de desempenho. O XtremIO não exige nenhuma habilidade de armazenamento e pouco treinamento, e os administradores do MongoDB podem monitorar todos os volumes até cada instância MongoDB fornecendo relatórios granulares. Com o XtremIO, gerenciar um ambiente de scale-out MongoDB nunca foi tão fácil. Rastreie facilmente o crescimento de capacidade física em relação ao crescimento efetivo para simplificar o planejamento de sua expansão. Ao expandir o tamanho do seu cluster e adicionar mais X-Bricks, o conjunto de dados é automaticamente redistribuído em todo o cluster on-line e todos os arrays podem ser gerenciados em uma só GUI. Os recursos de pesquisa e marcação do XtremIO alinham o gerenciamento de armazenamento às necessidades dos negócios, permitindo a marcação de volumes com rótulos para teste/desenvolvimento ou para uma instância específica do mongo, oferecendo também a capacidade de filtrar os relatórios por marca. 14

15 A figura abaixo mostra o painel de controle da GUI, que permite ao usuário monitorar o armazenamento, o desempenho e os alertas do sistema. A figura abaixo mostra o painel de controle da GUI que permite ao usuário monitorar o status do hardware Proteção avançada de dados e alta disponibilidade Ambientes MongoDB são cada vez mais essenciais e exigem alta disponibilidade de arquitetura e serviços de continuidade de negócios compatíveis. XtremIO é N-way ativo-ativo, sem nenhum ponto único de falha. O XtremIO é avaliado em campo com disponibilidade superior a 99,999%, e quando combinado com soluções EMC para habilitar datacenters ativo/ativo, a disponibilidade passa a ser superior a 99,9999%. Ele também oferece as melhores soluções EMC de mobilidade de dados e replicação da categoria Além disso, os serviços de desempenho integral e de snapshot sem sobrecarga do XtremIO também podem ser usados para backup e proteção contra corrupção lógica. Por fim, o XDP (esquema de proteção de dados do XtremIO) aproveita a natureza de acesso aleatório do flash para oferecer uma sobrecarga de capacidade muito menor, 15

16 uma proteção de dados superior e resistência e desempenho do flash muito melhores do que qualquer algoritmo RAID. Para obter mais informações sobre a alta disponibilidade e proteção avançada de dados, consulte "INTRODUÇÃO AO ARRAY STORAGE EMC XTREMIO (versão 3.0)" em Criptografia gratuita de dados em repouso Com clientes adotando o MongoDB em todas as áreas da empresa, a confidencialidade dos dados se torna uma prioridade essencial. O XtremIO oferece criptografia de dados em repouso baseada no array que é gratuita e em linha, permitindo que os clientes atendam às necessidades regulamentares sem custo e complexidade adicionais. Isso elimina a necessidade de qualquer software de criptografia de terceiros. A D@RE (Data at Rest Encryption) fornece criptografia em linha para garantir que todos os dados armazenados nos SSDs sejam inutilizáveis se a mídia SSD for removida. Isso impede o acesso não autorizado em caso de roubo ou perda durante o transporte, e possibilita a devolução/substituição de componentes com defeito que tenham dados confidenciais. Para obter mais informações sobre a criptografia de dados em repouso, consulte "INTRODUÇÃO AO STORAGE ARRAY EMC XTREMIO (versão 3.0) em 16

17 Sobre o ambiente de teste O diagrama a seguir representa a configuração de hardware neste documento Configuração de servidores Um servidor Cisco UCS C460 foi usado para os testes Componente Descrição Descrição Processador 4 intel Xeon E704830, 2,13 GHz MongoDB Versão Configuração de software MongoDB Versão Para obter detalhes das configurações de host, consulte "Guia de Configuração de Host para as Versões 2.2.x do XtremIO" em 17

18 Conclusão O XtremIO transforma a infraestrutura de armazenamento para seus ambientes MongoDB. O XtremIO fornece uma plataforma revolucionária de scale-out que consolida e acelera fluxos de trabalho de desenvolvimento/teste e produção com serviços incríveis de snapshot e redução de dados. Desenvolvedores, engenheiros e administradores se beneficiarão de uma infraestrutura consolidada e amplamente simplificada para impulsionar o desempenho, o planejamento de capacidade e a disponibilidade do MongoDB, tudo enquanto reduzem e controlam os custos de armazenamento. Desempenho consistente com latências inferiores a um milésimo de segundo Desempenho e capacidade de scale-out sob demanda Preços atrativos de flash com redução de dados em linha Redução considerável no armazenamento necessário para bancos de dados Criação de clones de banco de dados em minutos e sem interrupção Aceleração do desenvolvimento ágil com snapshots com economia de espaço Alta disponibilidade e segurança na infraestrutura de banco de dados 18

19 Referências Os documentos mencionados neste documento são relacionados abaixo INTRODUÇÃO AO STORAGE ARRAY EMC XTREMIO (versão 3.0) Guia de Configuração de Host para as Versões 2.2.x do XtremIO MONGODB MANUAL