Elastic Cloud Storage (ECS)

Transcrição

1 Elastic Cloud Storage (ECS) Versão 3.0 Guia de Planejamento

2 Copyright EMC Corporation Todos os direitos reservados. Publicado em Janeiro 2017 A Dell assegura que as informações apresentadas neste documento estão corretas na data da publicação. As informações estão sujeitas a alterações sem prévio aviso. AS INFORMAÇÕES CONTIDAS NESTA PUBLICAÇÃO SÃO FORNECIDAS NO ESTADO EM QUE SE ENCONTRAM. A DELL NÃO GARANTE NENHUM TIPO DE INFORMAÇÃO CONTIDA NESTA PUBLICAÇÃO, ASSIM COMO SE ISENTA DE GARANTIAS DE COMERCIALIZAÇÃO OU ADEQUAÇÃO DE UM PRODUTO A UM PROPÓSITO ESPECÍFICO. O USO, A CÓPIA E A DISTRIBUIÇÃO DE QUALQUER SOFTWARE DA DELL DESCRITO NESTA PUBLICAÇÃO EXIGE UMA LICENÇA DE SOFTWARE. Dell, EMC e outras marcas comerciais são marcas comerciais da Dell Inc. ou de suas subsidiárias. Outras marcas comerciais aqui mencionadas pertencem a seus respectivos proprietários. Publicado no Brasil. EMC Brasil Rua Verbo Divino, º andar São Paulo SP Tel.: (11) Fax: (11) Elastic Cloud Storage (ECS) 3.0 Guia de Planejamento

3 CONTEÚDO Figuras 5 Tabelas 7 Capítulo 1 O que é ECS? 9 Visão geral Plataforma do ECS...10 Serviços do portal Serviços de armazenamento Serviço de provisionamento Serviço de fabric...11 Serviço de infraestrutura...12 O appliance ECS Interfaces de rede Provisionando recursos de armazenamento VDC (Virtual Data Center)...13 Pools de armazenamento Grupos de replicação...14 Namespaces...14 Buckets Usuários e funções Monitoramento, diagnóstico e ViPR SRM Capítulo 2 Novos recursos 17 Novos recursos do ECS Suporte a protocolo S3 para autenticação V Suporte a protocolo S3 para ciclo de vida em objetos com versão Aprimoramentos de pesquisa de metadados de protocolo S Suporte a protocolos Openstack Swift para DLOs (Dynamic Large Objects, objetos grandes dinâmicos) e SLOs (Static Large Objects, objetos grandes estáticos) Suporte ao envio de traps SNMP do ECS...18 Suporte a servidores syslog...19 Recuperação de espaço pela coleta parcial de lixo Bloqueio de plataforma Melhorias no painel de controle e no monitoramento...20 Gerenciamento de retenção avançada do CAS...21 Alteração de comportamento do CAS para o período de retenção padrão em objetos gravados sem retenção em nível de objeto em namespaces de conformidade Conformidade do ECS certificada para Appliances ECS somente com instalações do ECS 3.0 e do Software ECS em hardware de armazenamento de terceiros certificados para ECS Aprimoramentos de compatibilidade com Atmos Compatibilidade com CIFS-ECS SOFTWARE DO ECS Elastic Cloud Storage (ECS) 3.0 Guia de Planejamento 3

4 CONTEÚDO Capítulo 3 Proteção de dados 25 Visão geral da proteção de dados Serviço de armazenamento Criações de objetos Leituras do objeto...30 Codificação de eliminação Recuperação de falhas de disco e nó Rebalanceamento de dados após a adição de novos nós...33 Fail over e recuperação de locais Capítulo 4 Planejando uma instalação do ECS 35 Planejando uma instalação do ECS Preparação do local Lista de verificação do preparo para a instalação do ECS Conectando os appliances ECS em um só local Requisitos para vários locais Separação de rede...38 Planejando a separação de rede por meio de VIPs Planejando a separação de rede usando VLANs Considerações de balanceamento de carga Considerações sobre a capacidade Capacidade do pool de armazenamento...45 Coleta de lixo Elastic Cloud Storage (ECS) 3.0 Guia de Planejamento

5 FIGURAS Serviços da plataforma do ECS...10 Único local: criações de objeto...27 Dois locais: criações de objeto Criações de objeto: VDCs federados (3 ou mais locais) Topologia linear ou de encadeamento em série Síndrome de desconexão linear ou de encadeamento em série Topologia em anel Topologia em estrela...38 Elastic Cloud Storage (ECS) 3.0 Guia de Planejamento 5

6 FIGURAS 6 Elastic Cloud Storage (ECS) 3.0 Guia de Planejamento

7 TABELAS Componentes da série U Componentes da série C Despesas gerais de armazenamento ao implementar vários locais...31 Tolerância a falha de nós em um só local Requisitos comparados de arquivamento regular e estático...32 Elastic Cloud Storage (ECS) 3.0 Guia de Planejamento 7

8 TABELAS 8 Elastic Cloud Storage (ECS) 3.0 Guia de Planejamento

9 CAPÍTULO 1 O que é ECS? Visão geral Plataforma do ECS O appliance ECS Provisionando recursos de armazenamento...13 Monitoramento, diagnóstico e ViPR SRM...15 O que é ECS? 9

10 O que é ECS? Visão geral O ECS é uma plataforma completa de armazenamento em nuvem definida por software que dá suporte ao armazenamento, à manipulação e à análise de dados não estruturados de forma massiva em hardware commodity. O ECS foi projetado especificamente para dar suporte a aplicativos móveis, de nuvem, de Big Data e de redes sociais. Ele pode ser implementado como um appliance de armazenamento pronto para uso ou como um produto de software que pode ser instalado em um conjunto de servidores e discos commodity qualificados. A arquitetura scale-out e geograficamente distribuída do ECS é uma plataforma em nuvem que oferece: Custo mais baixo que as nuvens públicas Combinação inigualável de eficiência de armazenamento e acesso a dados Acesso de leitura/gravação em qualquer lugar com consistência total que simplifica o desenvolvimento de aplicativos Nenhum ponto único de falha para aumentar a disponibilidade e o desempenho Acessibilidade universal que elimina silos de armazenamento e processos ineficientes de ETL/movimentação de dados Suporte ao ViPR SRM. O ViPR SRM é um software de gerenciamento de recursos de armazenamento de vários fornecedores que oferece uma solução de geração de relatórios para o ECS. Plataforma do ECS A plataforma do ECS inclui os seguintes serviços e camadas de software: Figura 1 Serviços da plataforma do ECS Serviços do portal Os serviços do portal incluem interfaces para provisionamento, gerenciamento e monitoramento dos recursos de armazenamento. As interfaces são: 10 Elastic Cloud Storage (ECS) 3.0 Guia de Planejamento

11 O que é ECS? Serviços de armazenamento Serviço de provisionamento GUI: uma interface gráfica do usuário baseada em navegador integrada chamada de Portal do ECS. REST: uma API REST que pode ser usada para desenvolver seu próprio Portal do ECS. CLI: uma interface de linha de comando que permite a realização das mesmas tarefas da interface baseada em navegador. Os serviços de armazenamento são oferecidos pelo USE (Unstructured Storage Engine, mecanismo de armazenamento não estruturado), que garante a proteção e disponibilidade dos dados em caso de corrupção dos dados, falhas de hardware e desastres de datacenter. Eles permitem o gerenciamento global de namespaces em datacenters geograficamente dispersos e replicação geográfica. O USE ativa os seguintes serviços de armazenamento: Serviço object: oferece a capacidade de armazenar, acessar e manipular dados não estruturados. O serviço de object é compatível com as APIs existentes Amazon S3, OpenStack Swift, EMC CAS e EMC Atmos. HDFS: permite que você use a infraestrutura de armazenamento de seu portal como um repositório de Big Data no qual é possível executar aplicativos de lógica analítica do Hadoop (implementado). NFS: permite que você acesse um bucket como uma exportação NFS. Os objetos gravados na área de armazenamento em object do ECS usando os protocolos de objeto podem ser acessados como arquivos por meio do NFS. Da mesma forma, os arquivos gravados usando o NFS podem ser acessados como objetos por meio dos protocolos de objeto compatíveis. O serviço de provisionamento gerencia o provisionamento de recursos de armazenamento e do acesso aos usuários. Especificamente, ele lida com: Gerenciamento de usuários: controla quais usuários têm direitos de administração do sistema, provisionamento de recursos de armazenamento e acesso a objetos usando solicitações REST. O ECS dá suporte a usuários locais e de domínio. Autorização e autenticação para todas as solicitações de provisionamento: consulta o domínio de autenticação para determinar se os usuários são autorizados a realizar operações de gerenciamento, provisionamento e acesso. Gerenciamento de recursos: permite que os usuários autorizados criem pools de armazenamento, datacenters virtuais e grupos de replicação. Multi-tenancy: gerencia o namespace que representa um tenant e seus buckets e objetos associados. Serviço de fabric O serviço de fabric é um gerenciador de cluster distribuído que é responsável por: Integridade do cluster: agrega falhas de hardware específicas aos nós e relata a integridade geral do cluster. Integridade do nó: monitora o estado físico dos nós, e detecta e relata falhas. Integridade do disco: monitora a integridade dos discos e dos file systems. Oferece operações de leitura/gravação brutas, rápidas e sem bloqueio para o mecanismo Serviços de armazenamento 11

12 O que é ECS? Serviço de infraestrutura O appliance ECS de armazenamento, e expõe informações sobre os drives de disco individuais e seu status para que o mecanismo de armazenamento possa colocar dados nos drives de disco de acordo com seus algoritmos integrados de proteção de dados. Gerenciamento de software: oferece ferramentas de linha de comando para instalação e execução de serviços, e para instalação e upgrade do software do fabric nos nós do cluster. Esta camada oferece o SO Linux em execução nos nós commodity e implementa as interfaces de rede e outras ferramentas relacionadas a hardware. O appliance ECS está disponível nos seguintes modelos: Série U: servidores de armazenamento não estruturados com gavetas DAE (Disk Array Enclosure) separadas e projetadas para maximizar a capacidade de armazenamento. Disponíveis em configurações de hardware Gen1 e Gen 2 com upgrade Série C: servidores de computação de alta densidade com discos integrados e projetados com mais capacidade de computação. As tabelas a seguir descrevem os componentes do appliance pela série: Tabela 1 Componentes da série U Componente Rack de 40U Descrição Racks Titan D da EMC incluem: Quatro pontos de distribuição de energia: dois em cada lado PDUs monofásicas com estrela e delta trifásicos disponíveis Parte frontal e parte traseira Fabricado pela EMC Switch privado Switch público Nós DAE (Disk Array Enclosure) Um switch de 1 GbE Dois switches de 10 GbE Servidor não estruturado com base em Intel em configurações de 4 e 8 nós 60 gavetas DAE com drives de 3,5 polegadas. O hardware Gen1 usa discos de 6 TB e, o hardware Gen2, discos de 8 TB. Tabela 2 Componentes da série C Componente Rack de 40U Descrição Racks Titan D Compute da EMC que incluem: Quatro pontos de distribuição horizontais 12 Elastic Cloud Storage (ECS) 3.0 Guia de Planejamento

13 O que é ECS? Tabela 2 Componentes da série C (continuação) Componente Descrição PDUs monofásicas com estrela e delta trifásicos disponíveis Parte frontal e parte traseira Fabricado pela EMC Switch privado Switch público Nós Discos Um ou dois switches de 1 GbE. O segundo switch é necessário para configurações com mais de seis chassis de servidor (24 nós). Dois ou quatro switches de 10 GbE. O terceiro e o quarto switch são necessários para configurações com mais de seis chassis de servidor (24 nós). Servidor não estruturado com base em Intel em configurações de 8 a 48 nós. 12 drives de 3,5 polegadas integrados a cada servidor (três por nó). O hardware Gen1 usa discos de 6 TB e, o hardware Gen2, discos de 8 TB. Interfaces de rede Os nós têm as seguintes interfaces de rede: Público: Uma interface de 10 GbE que manipula todo o tráfego de rede. A interface é conectada aos switches de 10 GbE do rack em uma configuração vinculada. Os switches de 10 GbE recebem uplink à rede do cliente por meio de 1 a 4 uplinks de 10 GbE. Privado: Uma interface de 1 GbE usada para operações administrativas internas. Todas as interfaces são privadas e reservadas para uso pelo tráfego do ECS. Cada nó é atribuído automaticamente a dois endereços IP privados usando o seguinte esquema: port_number: Essa rede é usada para as atividades de instalação e manutenção. Compatível apenas com o tráfego local de rack Rack_ID.port_number: Essa rede manipula o serviço configuração distribuída para nós no cluster. Compatível apenas com o tráfego local de datacenter. Provisionando recursos de armazenamento VDC (Virtual Data Center) Após a implementação do ECS, você pode usar uma das interfaces de serviços do Portal do ECS para provisionar os recursos de armazenamento a fim de que eles possam ser usados pelos aplicativos S3, Swift, CAS ou Atmos. Os VDC (Virtual Data Centers, datacenters virtuais) são os recursos de nível superior do ECS. Eles são estruturas lógicas que representam o conjunto da infraestrutura do ECS que você quer gerenciar como uma unidade coerente. Você pode criar um VDC para gerenciar os recursos de um ou mais racks físicos, mas os recursos do ECS em Interfaces de rede 13

14 O que é ECS? Pools de armazenamento Grupos de replicação um só VDC devem fazer parte da mesma NAN (Nile Area Network). Um VDC também é conhecido como um local ou uma zona. Você pode implementar o software ECS em vários datacenters para criar uma federação regional. Em uma federação regional, o ECS se comporta como uma federação livremente combinada de datacenters virtuais autônomos na qual você provisiona cada VDC separadamente. Os pools de armazenamento permitem que você particione logicamente os recursos de armazenamento disponíveis (nós) em um VDC. Eles oferecem o meio para separar os dados fisicamente com base nos requisitos de multi-tenancy ou dos aplicativos. Os pools de armazenamento exigem um mínimo de quatro nós. Os níveis de proteção de dados são definidos pela atribuição de pools de armazenamento aos grupos de replicação. Um pool de armazenamento com oito nós ou mais pode ser configurado como armazenamento estático para arquivos acessados com pouca frequência. O arquivamento estático usa um esquema de codificação de eliminação que reduz os custos adicionais de armazenamento. Os grupos de replicação são estruturas lógicas que definem onde o conteúdo do pool de armazenamento é protegido e os locais a partir dos quais os dados podem ser lidos sem tráfego de WAN. Os grupos de replicação podem ser locais ou globais. Os grupos de replicação locais protegem os objetos do mesmo VDC contra falhas de discos ou de nós. Os grupos de replicação globais abrangem vários VDCs e protegem os objetos contra falhas de disco, nó e local. A estratégia para a definição de grupos de replicação depende de vários fatores, inclusive de seus requisitos de resiliência de dados, do custo do armazenamento e da separação de dados lógica em relação à física. Namespaces Buckets Os namespaces permitem que o ECS lide com as operações de multi-tenant. Eles são atribuídos a grupos de replicação. Cada tenant é definido por um namespace e por um conjunto de usuários que pode armazenar e acessar os objetos dentro desse namespace. Os namespaces podem representar um departamento de uma empresa ou podem ser uma empresa diferente. Os usuários de um namespace não podem acessar os objetos de outro. O recurso de conformidade com a SEC é habilitado no nível de namespace. Os buckets são recipientes para dados de objeto. Eles são criados em um namespace para que somente sejam disponíveis aos usuários de namespace que têm as permissões adequadas. Os usuários de namespace que têm os privilégios adequados podem criar buckets, e criar objetos nos buckets, para cada protocolo de object que use sua API. Os buckets podem ser configurados para dar suporte aos protocolos de file HDFS e NFS. Os buckets configurados para acesso a arquivos podem ser lidos e gravados usando seu protocolo de object e o protocolo de file. Em um namespace, é possível usar buckets como uma forma de criar subtenants. 14 Elastic Cloud Storage (ECS) 3.0 Guia de Planejamento

15 O que é ECS? Usuários e funções O ECS dá suporte aos seguintes tipos de usuários e funções: Administrador do sistema: os usuários com essa função configuram o VDC, os pools de armazenamento, os grupos de replicação, os provedores de autenticação, os buckets e os usuários. O administrador do sistema também pode configurar namespaces e realizar a administração de namespaces, ou pode atribuir um usuário que pertença ao namespace como o administrador de namespace. O ECS tem uma conta de usuário root que é atribuída à função de administrador do sistema e pode ser usada para executar a configuração inicial. Monitor do sistema: os usuários dessa função podem exibir todos os dados de configuração, mas não podem fazer alterações. Os monitores do sistema local podem alterar suas senhas. O ECS tem uma conta de usuário root que é atribuída à função de administrador do sistema e pode ser usada para executar a configuração inicial. Administrador de namespace: os usuários dessa função definem as configurações de namespace, como cotas e períodos de retenção, e podem mapear os usuários de domínio ao namespace e atribuir usuários locais como usuários de objeto para o namespace. As operações de administradores de namespace também podem ser realizadas em clients programáticos que usam a API REST do ECS ou o Portal do ECS. Usuários de objeto: os usuários de objeto são os usuários finais do armazenamento em object do ECS. Eles acessam o armazenamento por meio de clients de objeto usando os protocolos de acesso compatíveis com o ECS (aplicativos S3, Swift, CAS ou Atmos). Os usuários de objeto podem receber privilégios para ler e gravar os buckets e os objetos do namespace ao qual eles são atribuídos. Monitoramento, diagnóstico e ViPR SRM O ECS oferece monitoramento, diagnóstico e auditoria de eventos por meio do Portal do ECS. As páginas Monitoring apresentam uma visão geral do armazenamento, dos recursos, dos serviços e dos eventos. Elas proporcionam um aprofundamento para que você tenha a visualização ideal dos dados de diagnóstico. Dashboard é a primeira página que você verá após fazer log-in no portal. Ela apresenta um resumo rápido dos dados de monitoramento. O ECS também dá suporte ao ViPR SRM da EMC. O ViPR SRM é uma solução de software que oferece relatórios de desempenho, configuração e capacidade de vários fornecedores para recursos de armazenamento tradicionais e de Software-Defined Storage. Os relatórios globais mesclam informações de capacidade, chargeback, utilização de armazenamento, operações e desempenho em todas as plataformas de armazenamento, oferecendo uma exibição abrangente de toda a infraestrutura de armazenamento. Os relatórios apresentam detalhes complementares sobre o tipo de ativo. Os recursos adicionais do ViPR SRM incluem alertas operacionais, relatórios de conformidade e mapas de topologia. Com essas informações facilmente obtidas, as equipes de armazenamento poderão realmente otimizar seu ambiente de armazenamento para melhorar o ROI. Para obter mais informações sobre o ViPR SRM, consulte o Índice de documentação do ViPR SRM. Usuários e funções 15

16 O que é ECS? 16 Elastic Cloud Storage (ECS) 3.0 Guia de Planejamento

17 CAPÍTULO 2 Novos recursos Novos recursos do ECS Novos recursos 17

18 Novos recursos Novos recursos do ECS 3.0 Novos recursos e adições do ECS 3.0. Suporte a protocolo S3 para autenticação V4 O suporte do ECS para o protocolo S3 agora inclui autenticação V4. Suporte a protocolo S3 para ciclo de vida em objetos com versão O suporte do ECS a protocolo S3 agora inclui suporte a ciclo de vida em objetos com versão, para que seja possível especificar quando as versões do objeto, em buckets com versão ativada, irão expirar. Esse recurso permite que as versões antigas dos objetos sejam excluídas após um período de tempo especificado. Obs. O ciclo de vida não pode ser aplicado aos buckets habilitados para file system. Aprimoramentos de pesquisa de metadados de protocolo S3 Para o ECS 3.0, o número de chaves que podem ser indexadas foi aumentado de 5 para 30. As chaves podem incluir chaves de metadados do sistema e chaves de metadados do usuário. Obs. No caso de objetos pequenos (100 KB e menores), a taxa de inclusão de dados reduz um pouco ao se aumentar o número de chaves de índice. Os dados de teste de desempenho mostrando o impacto do uso de índices de metadados para objetos menores estão disponíveis no white paper de desempenho do ECS. Suporte a protocolos Openstack Swift para DLOs (Dynamic Large Objects, objetos grandes dinâmicos) e SLOs (Static Large Objects, objetos grandes estáticos) O suporte a Openstack Swift do ECS agora é compatível com SLOs e DLOs. O suporte a SLO permite que muitos objetos sejam carregados, associados ao mesmo SLO usando um arquivo de manifesto e obtidos por download como um único objeto. O suporte a DLO permite que diversos objetos sejam carregados e compilados em um DLO baseado em ordem e prefixos de chave e que o objeto seja obtido por download como um único objeto. Tanto os DLOs quanto os SLOs aceitam solicitações de intervalo que permitem a recuperação de faixas de bytes de objetos grandes. Suporte ao envio de traps SNMP do ECS O ECS é compatível com a geração de relatórios de estatísticas no nível do nó usando consultas de SNMP (Simple Network Management Protocol). Com o ECS 3.0, o suporte ao SNMP foi estendido para possibilitar o envio de traps v2 e v3 do SNMP 18 Elastic Cloud Storage (ECS) 3.0 Guia de Planejamento

19 Novos recursos para até 10 clients de estação de gerenciamento de rede. As traps SNMP relatam eventos do ECS. O Portal do ECS permite aos administradores configurar os destinatários da trap. Obs. O servidor de consultas do SNMP e o servidor de traps são servidores separados. O servidor de traps não responde às consultas do SNMP. Você pode baixar a definição da MIB do ECS (como o arquivo ECS-MIB.mib) da área do ECS em support.emc.com na seção Downloads em Add-Ons. O ECS é compatível com essas possíveis funções de hash criptográfico do SNMPv3: MD5 (Message Digest 5) SHA-1 (Secure Hash Algorithm 1) O ECS dá suporte à criptografia do tráfego do SNMP v3, usando estes protocolos de criptografia: Padrão de criptografia padrão (usando chaves de 56 bits) Padrão de criptografia avançada (usando chaves de 128 bits, 192 bits ou 256 bits) Obs. Suporte a servidores syslog O suporte para os modos de segurança avançada (AES192/256) fornecido pelo recurso de Trap SNMP do ECS pode ser incompatível com determinados destinos de SNMP (por exemplo, ireasoning). Para obter mais detalhes sobre o SNMP do ECS, consulte o capítulo de notificação de evento no Guia do administrador do ECS. O Guia de instalação do ECS apresenta detalhes sobre como configurar servidores SNMP para dar suporte a consultas. O ECS dá suporte ao encaminhamento de alertas e mensagens de auditoria para servidores syslog remotos e às operações que utilizem esses protocolos de aplicativos: Syslog do BSD Syslog estruturado Recuperação de espaço pela coleta parcial de lixo A coleta parcial de lixo (GC) oferece maior eficiência de armazenamento para conjuntos de dados ativos e casos de uso que envolvam exclusão ou modificação aleatórias de dados. Esse recurso complementa a coleta total de lixo dos fragmentos existentes no ECS, que dá suporte a casos de uso de exclusão em massa para dados de arquivamento sob retenção. Duas novas técnicas foram apresentadas para recuperar o espaço de fragmentos parcialmente excluídos: Coleta parcial de lixo por mescla - dados válidos, a partir de um conjunto de fragmentos de origem parcialmente vazios, são copiados para um novo fragmento, de forma que os fragmentos de origem possam ser liberados. Essa técnica é empregada quando dados válidos ocupam uma pequena parte dos fragmentos. Coleta parcial de lixo por compactação - faixas de disco que contêm dados de lixo são extraídas de um fragmento, e os dados válidos restantes são tratados como Suporte a servidores syslog 19

20 Novos recursos Bloqueio de plataforma um fragmento menor. Essa técnica é empregada quando dados válidos ocupam uma grande parte ou o fragmento. Propagação global: Alterações relacionadas à recuperação de espaço na coleta parcial de lixo também são propagadas para as cópias replicadas dos dados. Em ambientes com replicação geográfica, como no caso da inclusão de novos dados, a replicação é feita por codificação às faixas de lixo, para que os dados recém-replicados sobregravem as faixas de lixo correspondentes nos sites remotos. Isso garante que não haja nenhuma sobrecarga de tráfego na WAN na coleta de lixo parcial. O espaço recuperado fica disponibilizado para reutilização no site local, somente depois que dados recém-incluídos são codificados com faixas de dados de lixo associadas. O recurso de coleta parcial de lixo é lançado com disponibilidade limitada na versão 3.0 do ECS e pode ser ativado sob demanda. Esse recurso é destinado a implementações com alta utilização e cargas de trabalho ativas. Para que a coleta parcial de lixo seja ativada, abra um chamado depois de fazer o upgrade para o ECS 3.0. A disponibilidade limitada de coleta parcial de lixo está em linha com a prática recomendada de implementação de recursos que exijam alterações significativas de arquiteturas com disponibilidade limitada para, pelo menos, uma versão antes da coleta de lixo. Permitir acesso remoto a nós a partir de contas privilegiadas (raiz, admin, emc) pode não ser aconselhável. Usando o Portal do ECS ou a API de REST de gerenciamento do ECS, você pode bloquear nós específicos em um cluster ou todos os nós no cluster. O bloqueio de um nó afeta somente a capacidade de fazer SSH (Secure Shell Protocol) remoto nos nós bloqueados. O bloqueio não altera a forma com que operam o Portal do ECS e as APIs de REST e não afeta a capacidade de conexão direta a um nó e de fazer log-in usando uma conta privilegiada. O novo usuário Administrador de bloqueios é um usuário local pré-provisionado chamado de "emcsecurity". Os Administradores de bloqueio somente podem alterar as respectivas senhas e bloquear e desbloquear os nós. Os Administradores do sistema e os Monitores do sistema podem visualizar o status de bloqueio dos nós. A função de Administrador de bloqueio não pode ser atribuída a outro usuário. Melhorias no painel de controle e no monitoramento Os novos recursos incluem: Painel de medições de tráfego no painel de controle do Portal do ECS: As medições de tráfego exibem o total de solicitações, discriminando-as em solicitações realizadas com sucesso e solicitações com falha por erro do usuário e solicitações com falha por erro do sistema. Erros do usuário são erros normalmente conhecidos a partir dos vários títulos de objetos (erros de nível HTTP 400) e os erros do sistema são erros do ECS (erros de nível HTTP 500). Geração de relatórios de erros na página de monitoramento de medições de tráfego: Clique em History e selecione o painel Failures by type. O ECS lista todas as solicitações com falha, classificadas por erro do usuário ou por erro do sistema, e, em seguida, por título (tipo de objeto), com os códigos de erro mais frequentes classificados na parte superior. A página de utilização da capacidade foi reprojetada para facilitar a distinção entre capacidade on-line, capacidade off-line e capacidade total. 20 Elastic Cloud Storage (ECS) 3.0 Guia de Planejamento

21 Novos recursos A página de hardware agora inclui mais estados do disco: missing e removed. Um disco ausente é um disco conhecido que está inacessível no momento. O disco pode estar em transição entre os estados, desconectado ou removido. Um disco removido é aquele que o sistema recuperou completamente e removeu da lista de discos válidos do mecanismo de armazenamento. Gerenciamento de retenção avançada do CAS Agora, o ECS é compatível com ARM (Advanced Retention Management, gerenciamento de retenção avançada) disponível por meio da API do CAS. Esses recursos não exigem uma licença separada no ECS. Os recursos do ARM incluem: Retenção baseada em eventos: A capacidade de configurar um objeto por meio de seu C-Clip para aplicar (acionar) um período de retenção ou uma classe de retenção quando o aplicativo do CAS recebe um evento específico. Retenção legal: A capacidade de impedir a exclusão de um objeto se o aplicativo do CAS tiver aplicado uma retenção legal em um objeto por meio de seu C-Clip. O aplicativo do CAS pode aplicar até 100 retenções legais em um objeto, criando e aplicando IDs exclusivas de retenção legal. Administrador mín./máx.: A capacidade de um administrador definir um período fixo de retenção de nível de bucket ou um período de retenção variável. Um período de retenção variável é aquele que é definido em resposta a um evento. No ECS, os Administradores do sistema e do Namespace podem definir valores com o Portal do ECS. Os programadores podem usar a API de gerenciamento do ECS para definir os valores. Alteração de comportamento do CAS para o período de retenção padrão em objetos gravados sem retenção em nível de objeto em namespaces de conformidade Começando com o ECS 3.0, quando um aplicativo grava C-Clips sem retenção de objeto em um bucket do CAS do ECS em um namespace de conformidade, e o bucket tem um valor de retenção (de seis meses, por exemplo), o período de retenção padrão de inifinito (-1) será atribuído aos C-Clips. Os C-Clips nunca podem ser excluídos porque seu período de retenção real é o maior entre: o período de retenção no nível de bucket e o período de retenção padrão no nível do objeto. Isso é uma mudança do comportamento do ECS que coloca o comportamento do ECS em linha com o comportamento do Centera, em que a retenção do pool padrão no modo de conformidade CE+ é sempre infinito (-1). No ECS 2.2.1, quando um aplicativo grava C-Clips sem retenção de objeto em um bucket do CAS do ECS em um namespace de conformidade, e o bucket tem um valor de retenção (de seis meses, por exemplo), o período de retenção atribuído aos C-Clips será zero (0). Aqui, o período de retenção real para os C-Clips será o valor de retenção do bucket (seis meses). Os C-Clips podem ser excluídos em seis meses. Depois do upgrade do ECS para o ECS 3.0 ou para qualquer versão posterior, os aplicativos que dependem do comportamento do ECS gravarão C-Clips que nunca podem ser excluídos. Pare e reconfigure seus aplicativos para que atribuam retenção em nível de objeto apropriada antes que interajam com o ECS 3.0 ou posterior. No exemplo acima, o aplicativo deve atribuir uma retenção em nível de objeto de seis meses para os C-Clips. Gerenciamento de retenção avançada do CAS 21

22 Novos recursos Conformidade do ECS certificada para Appliances ECS somente com instalações do ECS 3.0 e do Software ECS em hardware de armazenamento de terceiros certificados para ECS O ECS atende aos requisitos de armazenamento dos seguintes padrões, conforme certificado pela Cohasset Associates Inc: Comissão de valores mobiliários e câmbio (SEC), na norma 17 C.F.R a-4(f) Comissão de Negociação de Futuros de Commodities (CFTC), na norma 17 C.F.R. 1.31(b)-(c) A conformidade é certificada nos Appliances ECS com, pelo menos, a versão do software do ECS. As instalações somente do Software ECS versão 3.0 e posterior, executadas em hardware de terceiros certificado para ECS, também são certificadas. Aprimoramentos de compatibilidade com Atmos Compatibilidade com CIFS-ECS SOFTWARE DO ECS Agora, o ECS é compatível com os seguintes recursos do Atmos: URL compartilhável: A ferramenta CIFS-ECS cria uma URL compartilhável que permite que um usuário recupere um arquivo diretamente do ECS. Agora, o ECS é compatível com o recurso de URLs compartilháveis de API do Atmos, o que permite o uso de URLs compartilhadas na ferramenta CIFS-ECS. Checksum: Agora, existe compatibilidade com o cabeçalho x-emc-wschecksum. IDs de sublocatário: Estas IDs agora são preservadas no ECS após a migração: O cabeçalho é x-emc-subtenant-id: {original_subt_id}. Leitura, gravação e exclusão de ACLs: Estas ACLs para dados do Atmos agora funcionam no ECS da mesma forma como no Atmos. Marcas relacionáveis indexadas: O desempenho do recurso de tags listáveis do Armos foi significativamente aprimorado ECS 3.0 usando um índice. As tags listáveis são tags em nível de objeto que possibilitam a facilidade de recuperação e de classificação de todos os objetos marcados. Agora, o ECS oferece um aplicativo leve que permite que os aplicativos e os usuários tenham acesso ao conteúdo mantido no ECS a partir de um drive local do Windows. Os arquivos são mantidos em um cache de disco local na máquina do Windows e são carregados e baixados para/a partir de um bucket do ECS usando a API do S3. Os aplicativos podem criar, modificar e ler os arquivos normalmente, usando o drive virtual do CIFS-ECS, e os arquivos são carregados para o ECS de forma automática e assíncrona. Mais informações sobre o CIFS-ECS podem ser obtidas na Visão geral da arquitetura do CIFS-ECS, e a documentação CIFS-ECS pode ser acessada em Documentação do produto Elastic Cloud Storage (ECS) 3.0 da EMC. O Software ECS é uma nova oferta que permite que o software do ECS seja instalado em hardware Dell ou HP pré-certificado. 22 Elastic Cloud Storage (ECS) 3.0 Guia de Planejamento

23 Novos recursos O seguinte hardware foi certificado para uso com o Software ECS, e os informativos de arquitetura de referência para cada plataforma certificada podem ser obtidos em support.emc.com. HP Proliant SL4540 Gen8 Dell DSS7000 Dell R730xd 13G O atendimento ao cliente EMC pode usar o SolVe desktop para obter as ferramentas de verificação de integridade e de configuração para dar suporte aos projetos do cliente. Os clientes que desejam usar hardware personalizado podem entrar em contato com seu representante da EMC para discutir suas necessidades. SOFTWARE DO ECS 23

24 Novos recursos 24 Elastic Cloud Storage (ECS) 3.0 Guia de Planejamento

25 CAPÍTULO 3 Proteção de dados Visão geral da proteção de dados...26 Serviço de armazenamento...26 Criações de objetos...26 Leituras do objeto Codificação de eliminação...31 Recuperação de falhas de disco e nó...32 Rebalanceamento de dados após a adição de novos nós Fail over e recuperação de locais...33 Proteção de dados 25

26 Proteção de dados Visão geral da proteção de dados Serviço de armazenamento Criações de objetos Saiba como o ECS protege os dados não estruturados contra falhas nos nós, discos e locais por meio da replicação e da codificação de eliminação. O ECS garante a durabilidade, a confiabilidade e a disponibilidade dos objetos ao criar e distribuir três cópias de objetos e seus metadados no conjunto de nós da instalação local. Depois que as três cópias são gravadas com sucesso, o ECS faz a codificação de eliminação das cópias do objeto para reduzir os custos adicionais de armazenamento. Ele lida automaticamente com as operações de falha e recuperação, sem necessidade de mais dispositivos ou software para backup. A camada do serviço de armazenamento lida com a proteção e disponibilidade dos dados contra corrupção dos dados, falhas de hardware e desastres do datacenter. O USE (Unstructured Storage Engine, mecanismo de armazenamento não estruturado) faz parte da camada de serviços de armazenamento. Trata-se de um serviço compartilhado e distribuído que é executado em todos os nós, gerencia as transações e faz a persistência dos dados aos nós. O USE permite o gerenciamento global de namespaces em datacenters geograficamente dispersos por meio de replicação geográfica. O USE grava todos os dados relacionados a objetos (como dados do usuário, metadados, dados do local do objeto) em recipientes lógicos de espaço em disco contíguo conhecidos como fragmentos. Os fragmentos são abertos e aceitam gravações, ou são fechados e não são aceitam gravações. Depois que os fragmentos são fechados, o mecanismo de armazenamento faz sua codificação de eliminação. O mecanismo de armazenamento grava os fragmentos em um padrão somente de acréscimo, para que os dados existentes nunca sejam sobregravados ou modificados. Essa estratégia melhora o desempenho porque a validação de bloqueio e de cache não é necessária para operações de I/O. Todos os nós podem processar as solicitações de gravação para o mesmo objeto simultaneamente enquanto gravam em diferentes fragmentos. O mecanismo de armazenamento rastreia o local do objeto por meio de um índice que registra o nome de objeto, o id do fragmento e o deslocamento. O local dos fragmentos é rastreado separadamente por meio de um índice que registra o ID do fragmento e um conjunto de locais de disco. O índice do local do objeto contém três indicadores de local de disco antes da codificação de eliminação, e vários indicadores de local após a codificação de eliminação. O mecanismo de armazenamento executa todas as operações de armazenamento (como codificação de eliminação e recuperação de objetos) nos fragmentos. Criações de objeto: um VDC A figura a seguir mostra como o mecanismo de armazenamento grava dados de objeto quando há um só VDC. Neste exemplo, há um só appliance implementado no local, mas os mesmos princípios se aplicam quando houver mais appliances implementados. Os oito nós estão em um só pool de armazenamento de um só grupo de replicação. 26 Elastic Cloud Storage (ECS) 3.0 Guia de Planejamento

27 Proteção de dados Figura 2 Único local: criações de objeto 1. Um aplicativo cria um objeto em um bucket. 2. O mecanismo de armazenamento grava o objeto em um fragmento. Os locais do disco correspondentes a esse fragmento encontram-se em três discos/nós diferentes. Assim, as gravações são feitas paralelamente em três discos/nós diferentes. O mecanismo de armazenamento pode gravar o objeto em qualquer um dos nós que pertencem ao grupo de replicação do bucket. O VDC onde o objeto é criado é o proprietário do objeto. 3. O mecanismo de armazenamento registra os locais dos discos do fragmento no índice de local do fragmento, e o ID e a compensação do fragmento no índice de local do objeto. 4. O mecanismo de armazenamento grava o índice de local do objeto em um fragmento e os locais dos discos correspondentes ao fragmento em três discos/nós diferentes. Assim, as gravações são feitas paralelamente em três discos/nós diferentes. Os locais dos índices são escolhidos independentemente dos locais de fragmentos dos objetos. 5. Depois que todos os locais dos discos forem gravados com sucesso, o mecanismo de armazenamento reconhecerá a gravação no aplicativo. Quando os fragmentos de objeto estiverem cheios, o mecanismo de armazenamento os codificará para eliminação. Os fragmentos de índice de local do objeto não são codificados para eliminação. Criações de objeto: VDCs federados (2 locais) Em uma implementação federada de dois VDCs, o mecanismo de armazenamento grava os fragmentos de objeto no VDC local e no VDC remoto. Criações de objetos 27

28 Proteção de dados Figura 3 Dois locais: criações de objeto 1. Um aplicativo cria um objeto em um bucket. 2. O mecanismo de armazenamento grava o objeto em um fragmento do local onde ele é incluído. Os locais do disco correspondentes a esse fragmento encontram-se em três discos/nós diferentes. Assim, as gravações são feitas paralelamente em três discos/nós diferentes. O mecanismo de armazenamento pode gravar o objeto em qualquer um dos nós que pertencem ao grupo de replicação do bucket. O mecanismo de armazenamento registra os locais dos discos do fragmento no índice de local do fragmento, e o ID e a compensação do fragmento no índice de local do objeto. O local onde o objeto é incluído originalmente é o proprietário do objeto. 3. Depois que todos os locais dos discos forem gravados com sucesso, o mecanismo de armazenamento reconhecerá a gravação no aplicativo. 4. O mecanismo de armazenamento replica o fragmento a três nós do local federado. Ele também registra os locais de fragmentos do índice de local do objeto (não exibido neste diagrama) em três nós diferentes do local federado. Quando os fragmentos de objeto estiverem cheios, o mecanismo de armazenamento os codificará para eliminação. Os fragmentos de índice de local do objeto não são codificados para eliminação. Quando dois VDCs estiverem em um grupo de replicação, os dois terão uma cópia legível do objeto. 28 Elastic Cloud Storage (ECS) 3.0 Guia de Planejamento

29 Proteção de dados Três locais: criações de objeto Figura 4 Criações de objeto: VDCs federados (3 ou mais locais) 1. Um aplicativo cria um objeto em um bucket. 2. O mecanismo de armazenamento grava o objeto em um fragmento do local onde ele é incluído. Os locais do disco correspondentes a esse fragmento encontram-se em três discos/nós diferentes. Assim, as gravações são feitas paralelamente em três discos/nós diferentes. O mecanismo de armazenamento pode gravar o objeto em qualquer um dos nós que pertencem ao grupo de replicação do bucket. Ele registra os locais dos discos do fragmento no índice de local do fragmento, e o ID e a compensação do fragmento no índice de local do objeto (não exibido neste diagrama). O VDC onde a gravação é feita será o proprietário do objeto e conterá uma cópia legível do objeto. 3. Depois que todos os locais dos discos forem gravados com sucesso, o mecanismo de armazenamento reconhecerá a gravação no aplicativo. 4. O mecanismo de armazenamento replica os fragmentos em outro VDC do grupo de replicação. Para melhorar a eficiência do armazenamento, o mecanismo de armazenamento faz a XOR (operação lógica) dos fragmentos com outros fragmentos de outros objetos também armazenados no nó. Quando os fragmentos com XOR (operação lógica) estiverem cheios, o mecanismo de armazenamento os codificará para eliminação. Se possível, ele gravará os fragmentos com XOR (operação lógica) em formato codificado para eliminação sem passar pela fase de replicação. Os fragmentos de índice de local do objeto não são codificados para eliminação. Opção Replicate to All Sites Replicate to All Sites é uma opção disponível para um administrador ao criar um grupo de replicação. Um grupo de replicação com esse recurso habilitado copia todos os dados para todos os locais (VDCs) do grupo de replicação. Ter todos os dados em todos os VDCs do grupo de replicação proporciona durabilidade dos dados e melhora o desempenho de todos os locais com o custo da eficiência do armazenamento. Essa opção somente pode ser habilitada no momento da criação e não poderá ser desabilitada posteriormente. Criações de objetos 29

30 Proteção de dados Leituras do objeto Atualizações do objeto Quando um aplicativo atualiza um objeto completamente, o mecanismo de armazenamento grava um novo objeto (seguindo os princípios descritos anteriormente). O mecanismo de armazenamento atualiza o índice do local do objeto para apontar para o novo local. Como o local antigo não é mais referenciado por um índice, o objeto original está disponível para coleta de lixo. Há duas etapas envolvidas na leitura de um objeto: 1. Ler os metadados do objeto: essa etapa contém as informações de localização, inclusive a lista de fragmentos e os intervalos de bytes em cada fragmento que hospeda o conteúdo do objeto. 2. Leia os intervalos de bytes de cada fragmento e transmita os dados de volta ao usuário. As seções a seguir fornecem mais detalhes sobre o processo de leitura para um só VDC e VDCs federados. Leituras de objeto: um só VDC Em uma implementação de um só local, quando um client envia uma solicitação de leitura, o mecanismo de armazenamento utiliza o índice de local do objeto para localizar quais fragmentos estão armazenamento o objeto, recupera os fragmentos do objeto ou os fragmentos codificados para eliminação, e reconstrói e devolve o objeto ao client. Leituras de objeto: VDCs federados (2 locais) Em uma federação de dois locais, o mecanismo de armazenamento lê os metadados do objeto na zona do "proprietário" do objeto, pois essa zona contém informações de autoridade sobre o estado atual do objeto. Ao acessar um objeto do local que não é o principal do objeto, os fragmentos de dados são lidos localmente no local secundário caso os fragmentos já tenham sido replicados geograficamente para o secundário. Se eles ainda não foram replicados, os fragmentos são lidos do local principal na WAN. Leituras de objeto: VDCs federados (3 ou mais locais) Em uma federação de três locais ou mais, o mecanismo de armazenamento lê os metadados do objeto na zona do proprietário do objeto. Quando um local é o principal para um fragmento, ele sempre terá uma cópia completa do fragmento. Para facilitar as leituras em que o local não é o proprietário de um fragmento, é mantido um cache de leitura que armazena uma cópia de fragmentos inteiros do qual o local não é o principal/proprietário. Quando um fragmento está disponível localmente, tanto o espelhamento triplo ou codificado para eliminação no local principal, ou no cache de leitura para qualquer outro local, o fragmento é fornecido desse local. Quando um fragmento necessário pela operação de leitura não estiver presente em sua totalidade em um local (conhecido como erro de cache de leitura), o intervalo de bytes do fragmento que hospeda o objeto é recuperado do local principal e transmitido novamente na resposta ao usuário pelo site remoto. Em segundo plano, o fragmento inteiro poderá ser obtido do site remoto (com base em algumas heurísticas) e adicionado ao cache de leitura. Recuperar do local principal e do cache apresenta um desempenho muito melhor em relação a recuperar de uma cópia com XOR'd em um local secundário. Somente os fragmentos que são vedados podem ser adicionados ao cache, pois elas são imutáveis após a vedação. 30 Elastic Cloud Storage (ECS) 3.0 Guia de Planejamento

31 Proteção de dados Codificação de eliminação O ECS usa a codificação de eliminação (EC) para oferecer uma melhor eficiência de armazenamento sem comprometer a proteção de dados. O mecanismo de armazenamento implementa o esquema de codificação de eliminação Reed-Solomon , no qual um objeto é dividido em 12 fragmentos de dados e em 4 fragmentos de codificação. Os 16 fragmentos resultantes são distribuídos entre os nós na instalação local. O mecanismo de armazenamento pode reconstruir um objeto a partir de qualquer um de 12 fragmentos. Tabela 3 Despesas gerais de armazenamento ao implementar vários locais Número de locais Custos adicionais de armazenamento 1 1,33 2 2, ,77 5 1,67 6 1,60 7 1,55 8 1,52 O ECS exige um mínimo de quatro nós executando o serviço object em um só local. Ele tolera as falhas com base no número de nós. Tabela 4 Tolerância a falha de nós em um só local Total de nós Tolerância a falhas de nó para gravações Quando um objeto é codificado para eliminação, os dados originais do fragmento estão presentes como uma cópia única que consiste em 16 fragmentos dispersos por todo o cluster. Quando um objeto tiver sido codificado para eliminação, o ECS pode ler o objeto diretamente sem nenhuma decodificação ou reconstrução. O ECS usa somente fragmentos de código para reconstrução do objeto quando há uma falha de hardware. Esse esquema de eliminação é resiliente a até quatro falhas de drive. Eliminação de codificação para arquivamento estático O armazenamento estático arquiva os objetos da área de armazenamento que não são alterados com frequência e não exigem o esquema padrão mais sólido de EC. O esquema de EC usado aqui é de 10 fragmentos de dados e 2 fragmentos de codificação (10 + 2). A eficiência é de 1,2 x. Você pode especificar um arquivamento estático (armazenamento estático) ao criar um novo pool de armazenamento. Depois que o pool de armazenamento for criado, o Codificação de eliminação 31

32 Proteção de dados esquema de EC não poderá ser alterado. Esse esquema pode dar suporte à perda de um único nó, de um drive de seis ou de dois drives de 12 em dois nós separados. Requisitos de EC Tabela 5 Requisitos comparados de arquivamento regular e estático Caso de uso Como é habilitado Mínimo de nós necessários Mínimo de discos necessários Discos recomendad os Eficiência da EC Esquema de EC Arquivamento regular Padrão 4 16* 32 1,33 x Arquivamento estático Configurado pelo administrador 6 12* 24 1,2 x 10+2 Obs. *Já que a configuração mínima que pode ser implementada para um appliance da série C é de dois appliances com 12 discos, 24 discos é o mínimo efetivo. Recuperação de falhas de disco e nó O ECS monitora continuamente a integridade dos nós, dos discos e dos objetos armazenados no cluster. Já que o ECS dispersa as responsabilidades de proteção de dados em todo o cluster, ele é consegue proteger de novo automaticamente os objetos em risco quando há falha nos nós ou nos discos. Integridade do disco O ECS relata a integridade do disco como boa, suspeita ou defeituosa. Boa: as partições do disco podem ser lidas e receber gravações. Suspeita: o disco ainda não chegou no limite para ser considerado inválido. Defeituosa: um determinado limite de desempenho reduzido de hardware foi atingido. Uma vez alcançado, os dados não podem ser lidos ou gravados. O ECS somente faz gravações em discos com boa integridade, e não em discos com integridade suspeita ou defeituosa. Já as leituras são feitas de discos com integridade boa e suspeita. Quando dois fragmentos de um objeto estiverem localizados em discos suspeitos, o ECS grava os fragmentos em outros nós. Integridade do nó O ECS relata a integridade do nó como boa, suspeita ou defeituosa. Boa: O nó está disponível e respondendo às solicitações de I/O de maneira adequada. Suspeita: O nó foi desativado por mais de 30 minutos. Defeituosa: O nó foi desativado por mais de uma hora. O ECS grava em nós acessíveis, independentemente do estado de integridade do nó. Quando dois fragmentos de um objeto estiverem localizados em nós suspeitos, o ECS grava dois novos fragmentos desse objeto em outros nós. Recuperação de dados Quando há uma falha de um nó ou uma unidade no local, o mecanismo de armazenamento: 32 Elastic Cloud Storage (ECS) 3.0 Guia de Planejamento

33 Proteção de dados 1. Identifica os fragmentos de objeto ou EC afetados pela falha. 2. Grava cópias dos fragmentos de objeto ou EC afetados nos nós e discos com boa integridade que não tenham cópias no momento. Rebalanceamento de dados após a adição de novos nós Quando o número de nós de um local é expandido devido à adição de novos racks ou nós de armazenamento, novos fragmentos codificados para eliminação são alocados ao novo armazenamento, e os fragmentos de dados existentes são redistribuídos (rebalanceados) nos novos nós. Quatro ou mais nós devem existir para que a codificação de eliminação dos fragmentos ocorra. A adição de novos nós além dos 4 nós necessários resultará em rebalanceamento da codificação de eliminação. A redistribuição dos fragmentos de codificação de eliminação é feita como tarefa de segundo plano, para que os dados do fragmento continuem sendo acessados durante o processo de redistribuição. Além disso, os novos dados do fragmento são distribuídos como uma baixa prioridade para minimizar o consumo de largura de banda da rede. Os fragmentos são redistribuídos de acordo com o mesmo esquema de codificação de eliminação com o qual eles foram originalmente codificados. Portanto, se um fragmento foi gravado usando o esquema de codificação de eliminação de armazenamento estático, o esquema de armazenamento estático será usado ao criar novos fragmentos para redistribuição. Fail over e recuperação de locais O ECS oferece proteção contra a falha em um local causada por um desastre ou outro problema que coloque um local off-line ou que o desconecte de outros locais de uma implementação geograficamente federada. Falha temporária dos locais As falhas temporárias dos locais ocorrem quando a conectividade de rede é interrompida entre os VDCs federados ou quando um VDC é desativado temporariamente. Quando um VDC é desativado, a página Replication Group exibe o status Temporarily unavailable para o VDC que não pode ser acessado. Quando os buckets são configurados com a propriedade Access During Outage definida como On, os aplicativos podem ler os objetivos enquanto estiverem conectados a qualquer local. Quando os aplicativos estiverem conectados a um local que não é o proprietário do bucket, o aplicativo deve acessar o bucket explicitamente para fazer gravações nele ou exibir seu conteúdo. Se um aplicativo modificar um objeto ou um bucket enquanto estiver conectado a um VDC que não seja o proprietário, o mecanismo de armazenamento transferirá a propriedade ao local onde a alteração for iniciada. As seguintes operações não podem ser realizadas em qualquer local da federação geográfica até que a falha temporária seja resolvida, independentemente da configuração Access During Outage: Bucket: criar ou renomear o bucket, modificar as propriedades do bucket, relacionar os buckets de um namespace quando o local do proprietário do namespace não estiver acessível Namespace: criar User: criar Depois que os locais forem reconectados, o mecanismo de armazenamento iniciará uma operação de ressincronização em segundo plano. Use a opção Monitor > Rebalanceamento de dados após a adição de novos nós 33

34 Proteção de dados Recovery Status do portal para monitorar o progresso da operação de ressincronização. Fail over permanente dos locais Se ocorrer um desastre em um local e o VDC não puder ser recolocado on-line, é necessário excluí-lo. 34 Elastic Cloud Storage (ECS) 3.0 Guia de Planejamento

35 CAPÍTULO 4 Planejando uma instalação do ECS Planejando uma instalação do ECS...36 Preparação do local...36 Lista de verificação do preparo para a instalação do ECS...36 Conectando os appliances ECS em um só local Requisitos para vários locais...38 Separação de rede Considerações de balanceamento de carga...44 Considerações sobre a capacidade...45 Planejando uma instalação do ECS 35

36 Planejando uma instalação do ECS Planejando uma instalação do ECS Preparação do local Saiba mais sobre os requisitos de ambiente físico, de datacenter e de vários locais, bem como as topologias de rede privada de gerenciamento. Consulte o Guia de Preparação do Local para saber mais sobre os requisitos ambientais associados ao gabinete 40U-D usado pelo Appliance ECS. Lista de verificação do preparo para a instalação do ECS Analise esta lista dos componentes e requisitos de infraestrutura necessários para uma instalação com sucesso. A equipe de instalação deve garantir que os requisitos de configuração para o projeto tenham sido definidos na planilha Designer do ECS. A implementação de um appliance ECS consiste nos seguintes componentes: Um ou mais racks. O rack deve ser vinculado à rede do cliente para tráfego de dados e gerenciamento remoto. O rack e todos os nós devem ser ligados. Os nós devem ter endereços IP válidos atribuídos pelo DHCP ou configurados estaticamente. Requisitos da infraestrutura: o ambiente de datacenter deve incluir os servidores a seguir que são acessíveis em todos os nós. Servidor DHCP (se você estiver atribuindo endereços IP por meio do DHCP) Servidores DNS (ou encaminhador) - no mínimo dois são necessários Servidores NTP (Network Time Protocol) - no mínimo, dois servidores. Servidor SMTP Você deve garantir que: Os registros de DNS para os nós do ECS sejam criados no DNS do cliente [nslookups avançada e inversa], em conformidade com o Designer do ECS. A configuração de topologia e de rede do uplink seja validada com o cliente. Os switches tenham a configuração correta. Caso contrário, a configuração padrão pode ser obtida a partir do SolVe Desktop. O procedimento para instalação das configurações do switch é fornecido em Guia de instalação: Configuração do switch. A lista de portas envolvidas nas comunicações do ECS seja analisada. O Guia de segurança do ECS apresenta a lista de portas que devem estar abertas. Conectando os appliances ECS em um só local 36 Elastic Cloud Storage (ECS) 3.0 Guia de Planejamento As redes de gerenciamento do appliance ECS são conectadas por meio da Nile Area Network. A NAN é criada conectando a porta 51 ou 53 a outro switch turtle de outro appliance ECS. Por meio dessas conexões, os nós de qualquer segmento podem se comunicar com qualquer outro nó da NAN.

37 Planejando uma instalação do ECS A topologia mais simples para conectar os appliances ECS entre si não exige hardware de switch adicional. Todos os switches turtle podem ser conectados de modo linear ou com encadeamento em série. Figura 5 Topologia linear ou de encadeamento em série Nessa topologia, se houver perda de conectividade, poderá ocorrer uma síndrome de desconexão. Figura 6 Síndrome de desconexão linear ou de encadeamento em série Para obter uma rede mais confiável, as extremidades da topologia de encadeamento em série podem ser conectadas para criar uma rede em anel. A topologia em anel é mais estável porque exigiria duas quebras de link de cabo para que ocorra uma síndrome de desconexão. A principal desvantagem da topologia em anel é que as portas RMM não podem ser conectadas à rede do cliente sem a adição de um switch de agregação ou de um switch de cliente externo ao anel. Figura 7 Topologia em anel As topologias em anel ou de encadeamento em série não são recomendadas para as grandes instalações. Quando houver quatro ou mais appliances ECS, recomenda-se usar um switch de agregação. A adição de um switch de agregação em uma topologia em estrela pode oferecer um melhor failover, reduzindo os problemas de síndrome de desconexão. Conectando os appliances ECS em um só local 37

38 Planejando uma instalação do ECS Figura 8 Topologia em estrela Requisitos para vários locais Ao planejar uma instalação do ECS em vários locais, atenda a estes requisitos: São necessários no mínimo dois VDCs. Cada VDC da configuração de vários locais exige conectividade IP para outros VDCs. Latência de rede: garanta uma latência máxima de ms entre os locais. Armazenamento livre: se seu plano contra desastres incluir a execução por um período com um local com falha permanente (em vez de recuperar o local imediatamente), cada local precisará de armazenamento livre suficiente em todos os locais para acomodar o rebalanceamento de dados. Em todos os locais, o espaço livre restante deve ser, no total: free space across n sites =1.33*x/(n-1)/(n-2) onde x é o volume total de dados do usuário em todos os n locais. Essa quantidade de espaço livre não é necessária se você adicionar um novo local logo após o failover e não continuar a operar com os locais (N-1) indefinidamente. Separação de rede A interface pública de 10 GbE pode ser separada para que o tráfego de dados, gerenciamento e/ou replicação (para outras regiões) possa ser identificado separadamente. Ao usar a separação de rede, o tráfego gerado por clients que desejam acessar o ECS usando as duas chamadas da API REST do ECS Management (inclusive o portal do ECS) e usando os protocolos de acesso a dados pode ser separado. Da mesma forma, os dados de replicação entre locais podem ser identificados separadamente a partir do tráfego do plano de dados e controle. Obs. 38 Elastic Cloud Storage (ECS) 3.0 Guia de Planejamento Não é necessário configurar a separação de rede, a menos que você tenha uma necessidade específica. A maioria das instalações do ECS não usa a separação de rede. A separação pode ser realizada por meio de VIPs (Virtual IPs, IPs virtuais) ou VLANs (Virtual LANs, LANs virtuais); não há compatibilidade com a combinação de redes separadas por VIPs e por VLANs. A compatibilidade com separação de rede física, em

39 Planejando uma instalação do ECS que uplinks exclusivos são configurados para cada rede separada, está sujeita ao processo de RPQ (Request for Product Qualification, solicitação de qualificação de produtos) da EMC. Há três opções de configuração de rede: Configuração padrão (rede única - sem separação) Todos os tráfegos (gerenciamento, dados e replicação) ficam na mesma rede. O endereço IP da interface pública pode ser estático ou dinamicamente atribuído. Separação parcial de rede Um tipo específico de tráfego é separado. O tráfego de replicação é separado; o tráfego de dados e gerenciamento continua na interface pública. O tráfego de dados é separado; o tráfego de gerenciamento e replicação continua na interface pública. O tráfego de gerenciamento é separado; o tráfego de dados e replicação continua na interface pública. Ou, então, dois tipos de tráfego são separados: O gerenciamento e a replicação são separados; o tráfego de dados continua na interface pública. O gerenciamento e os dados são separados; o tráfego de replicação continua na interface pública. O tráfego de dados e replicação é separado; o tráfego de gerenciamento continua na interface pública. Nesta configuração, um endereço IP estático deve ser primeiramente atribuído à rede pública. Em seguida, os tipos de tráfego são separados por meio de VIP ou de VLAN, e os tipos de tráfego restantes usam a interface pública estática. Separação completa Quatro redes separadas são usadas. Pública (estática) esta faixa de endereços IP é usada para configurar inicialmente as interfaces públicas para endereços IP estáticos. Assim que as redes de gerenciamento, dados e replicação forem separadas, os IPs estáticos continuarão configurados, mas não serão usados na operação normal pelo ECS; no entanto, poderão ser usados para manutenção ao aplicar o SSH nos nós. Gerenciamento Dados Replicação Esses cenários são ilustrados pela seguinte tabela: Separação de rede 39

40 Planejando uma instalação do ECS Configuração de rede Rede padrão Redes separadas public public.data public.mgm t public.repl Padrão (sem separação) Dados, gerenciament o e replicação Separação parcial Opção 1 Replicação e gerenciament o Dados Opção 2 Replicação e dados Gerenciament o Opção 3 Gerenciament o e dados Replicação Opção 4 Dados Gerenciament o Replicação Opção 5 Replicação Dados Gerenciament o Opção 6 Gerenciament o Dados Replicação Separação completa Dados Gerenciament o Replicação Ao configurar a separação de rede usando VLANs, é uma prática recomendada configurar as interfaces de rede em cada nó para que cada tipo de tráfego (dados, gerenciamento ou replicação) seja atribuído a um ID exclusivo de VLAN, bem como a um endereço IP exclusivo. Nesse caso, os pacotes de rede são marcados como pertencentes a uma VLAN especificada. O ECS marcará o tráfego com o ID de VLAN adequado e os switches de 10 GbE deverão ser configurados para garantir que o tráfego do client que está marcado com os IDs de VLAN escolhidos seja transmitido para fora do switch. A separação de rede usando VIPs é realizada atribuindo IPs virtuais adicionais às interfaces de 10 GbE, para que cada tipo de tráfego possa ser atribuído a um endereço IP diferente. Para VIPS e VLANs, o gateway padrão deve ser sempre definido na interface pública. Ao configurar interfaces separadas em redes não roteáveis no gateway padrão, rotas estáticas devem ser adicionadas para dar suporte à resolução de endereço das interfaces. Os clients que acessam o ECS usarão os endereços IP da rede de gerenciamento ou de dados. No caso da rede de dados, o tráfego deve ser balanceado em todos os endereços atribuídos a essa rede. 40 Elastic Cloud Storage (ECS) 3.0 Guia de Planejamento

41 Planejando uma instalação do ECS Obs. 1. Assim que a HAL e o Fabric/Object forem instalados, os endereços IP e as redes configuradas para o sistema não poderão ser alterados nesta versão. 2. Para configurações regionais e com vários racks, o mesmo tipo de configuração da separação de rede deve ser implementado em todos os nós e locais para atender às seguintes condições: Um local não deve ter redes separadas quando outro local não tiver. Os locais devem ter a mesma configuração de separação de rede. Em racks de um só local, os nós e os racks devem ter a mesma configuração de separação de rede. O ID de VLAN para cada rede VLAN separada deve ser o mesmo para todos os sites que estão no mesmo domínio da bridge, mas pode ser diferente se a rede separada for encerrada por um roteador. A configuração de VLANs e de VIPs é realizada como parte do procedimento de instalação do ECS, e você deve decidir como deseja configurar a separação de rede antes de iniciar uma instalação do ECS. A seguir, apresentamos orientações sobre os requisitos de um plano de separação de rede. Planejando a separação de rede por meio de VIPs Ao planejar a separação de rede por meio de VIPs, você precisará: Decidir os endereços IP públicos de cada nó um por nó. Ao usar a separação de rede, os endereços IP públicos devem ser atribuídos de modo estático. Decidir quais redes deseja separar. Você pode separar uma ou todas as redes de dados, gerenciamento ou replicação. Decidir os VIPs de cada interface de rede lógica de cada nó. Determinar a configuração do balanceador de carga a fim de balancear o tráfego de dados dos IPs da rede de dados. Determinar todas as rotas estáticas que serão necessárias para rotear o tráfego de sua rede. Exemplos de atribuição de IPs públicos e IPs virtuais para um rack de 4 nós são fornecidos abaixo. A tabela a seguir apresenta um exemplo da separação do tráfego de dados por meio de um VIP. Endereço Nó 1 Nó 2 Nó 3 Nó 4 Máscara de rede Gateway endereço público (estático) rede de dados A tabela a seguir apresenta um exemplo da separação de dados, gerenciamento e tráfego de replicação por meio de VIPs: Planejando a separação de rede por meio de VIPs 41

42 Planejando uma instalação do ECS Endereço Nó 1 Nó 2 Nó 3 Nó 4 Máscara de rede Gateway endereço público (estático) rede de dados rede de gerenciamento rede de replicação Nestes exemplos, o endereço do gateway é o mesmo para todas as interfaces e somente seria necessário para definir o gateway padrão para o endereço público. Planejando a separação de rede usando VLANs Ao planejar a separação de rede usando VLANs, você precisará: Decidir os endereços IP públicos de cada nó um por nó. Ao usar a separação de rede, os endereços IP públicos devem ser atribuídos de modo estático. Decidir quais redes deseja separar. Você pode separar uma ou todas as redes de dados, gerenciamento ou replicação. Decidir os IDs de VLAN que serão usados para as redes virtuais. Decidir os endereços IP de cada interface de rede virtual de cada nó. Determinar a configuração dos switches de 10 GbE do ECS (rabbit e hare) para dar suporte aos IDs de VLAN. Essa configuração não faz parte da instalação e deve ser realizada antes da instalação pelo EMC Professional Services. Obs. A maneira na qual os switches Rabbit e Hare de 10 GbE são configurados para dar suporte à separação de rede depende das redes que você está separando e da sua preferência por ter, ou não, conexões físicas separadas para cada uplink (a separação de rede física está sujeita a RPQ). Determinar a configuração do balanceador de carga a fim de balancear o tráfego de dados dos IPs da rede de dados. Determinar todas as rotas estáticas que serão necessárias para rotear o tráfego de sua rede. Exemplos de atribuição de IPs públicos, IPs de redes separadas e IDs de VLAN para um rack de quatro nós são fornecidos abaixo. Nestes exemplos, cada IP de VLAN está em uma sub-rede separada ( , e ). A tabela a seguir apresenta um exemplo de separação de tráfego de dados por rede, apenas usando uma VLAN. 42 Elastic Cloud Storage (ECS) 3.0 Guia de Planejamento

43 Planejando uma instalação do ECS ID de VLAN Nó 1 Nó 2 Nó 3 Nó 4 Máscara de rede Gateway endereço público (estático) rede de dados A tabela a seguir apresenta um exemplo de separação completa de rede usando VLANs. ID de VLAN Nó 1 Nó 2 Nó 3 Nó 4 Máscara de rede Gateway endereço público (estático) rede de dados rede de gerenciamen to rede de replicação Configuração do switch para a separação de rede usando VLANs com uplink único Quando todas as redes VLAN separadas estão usando a mesma conexão de uplink com a rede do cliente, as portas do uplink devem ser configuradas para fazer o entroncamento de todas as VLANs. Além disso, os canais das portas que se conectam aos nós devem ser configurados para aceitar o tráfego marcado com os IDs de VLAN selecionados e passá-lo pelas portas do uplink que passaram pelo entroncamento. No exemplo a seguir, as redes de dados, de replicação e de gerenciamento estão em VLANs separadas e todo o tráfego marcado é enviado e recebido do mesmo uplink. Interface de nomes ID da VLAN Identificado Conexão do uplink public none não MLAG: po100 data sim Uma ou mais portas de cada switch repl sim mgmt sim Essa configuração é mostrada na figura abaixo. O exemplo tem duas portas de cada switch em um LAG (Link Aggregation Group, grupo de agregação de links). Planejando a separação de rede usando VLANs 43

44 Planejando uma instalação do ECS data/mgmt/repl data/mgmt/repl (VLAN IDs 1000/2000/3000) (VLAN IDs 1000/2000/3000) po100 Rabbit Hare (VLAN IDs 1/1000/2000/3000) Turtle A tabela a seguir apresenta um exemplo de configuração de porta de nó e de porta de uplink nos switches Rabbit e Hare. Switches/portas Rabbit e Hare/ Port-channel de nó do ECS Configuração VLAN (exemplo de ID de VALN) dados/ gerenciamento/ replicação (ID de VLAN 1000/2000/3000) Configuração interface port-channel 1-12 switchport trunk native vlan 1 switchport trunk allowed vlan 1,1000,2000,3000 switchport mode trunk Rabbit e Hare/ Configuração MLAG do uplink dados/ gerenciamento/ replicação (ID de VLAN 1000/2000/3000) interface Ethernet 1 channel-group 100 mode active interface port-channel 100 switchport trunk allowed vlan 1,1000,2000,3000 switchport mode trunk mlag 100 Considerações de balanceamento de carga Recomenda-se a utilização de um balanceador de carga com o ECS. Além de distribuir a carga entre os nós de cluster do ECS, um balanceador de carga oferece alta disponibilidade (HA) para o cluster do ECS roteando o tráfego aos nós com integridade. Quando a separação de rede estiver implementada, e o tráfego de gerenciamento e dados tiver sido separado, o balanceador de carga deverá ser configurado para que as solicitações de usuário, usando os protocolos compatíveis de 44 Elastic Cloud Storage (ECS) 3.0 Guia de Planejamento