PROTEGENDO O BIG DATA

Transcrição

1 PROTEGENDO O BIG DATA Soluções de proteção de dados para Hadoop e o data lake corporativo RESUMO O Big Data Analytics na empresa está se desenvolvendo rapidamente, impulsionando os resultados transformadores para os negócios de suas empresas. Ao mesmo tempo, os aplicativos de Big Data geralmente entram na produção sem uma estratégia avançada de proteção de dados. O Hadoop é o principal framework de Big Data. As empresas estão buscando um amplo histórico de proteção de dados do Hadoop, do backup à recuperação de desastres. Este documento discute como o Data Domain Boost for Enterprise Applications da Dell EMC, parte da família Dell EMC Data Protection Suite, oferece a inovadora e verdadeira funcionalidade do aplicativo de backup para Hadoop, oferecendo ao administrador do Hadoop um conjunto de comandos da CLI para realizar seu próprio backup e recuperação no armazenamento de proteção do Data Domain. Também aborda as opções de proteção de dados Isilon, Networker e Elastic Cloud Storage (ECS) para fazer backup de outros componentes do data lake. Maio de 2017

2 As informações nesta publicação são fornecidas no estado em que se encontram. A EMC Corporation não garante nenhum tipo de informação contida nesta publicação, assim como se isenta de garantias de comercialização ou adequação de um produto a um propósito específico. O uso, a cópia e a distribuição de qualquer software da EMC descrito nesta publicação exigem uma licença de software. EMC 2, EMC e o logotipo da EMC são marcas registradas ou comerciais da EMC Corporation nos Estados Unidos e em outros países. Todas as outras marcas comerciais aqui utilizadas pertencem a seus respectivos proprietários. Copyright 2016 EMC Corporation. Todos os direitos reservados. Publicado no Brasil. 10/16, white paper H A EMC assegura que as informações apresentadas neste documento estão corretas na data da publicação. As informações estão sujeitas a alterações sem prévio aviso. A EMC agora faz parte do grupo Dell de empresas. 2

3 SUMÁRIO RESUMO EXECUTIVO...5 O desafio... 5 Visão geral da solução... 5 INTRODUÇÃO...5 Público-alvo... 5 SEGUNDO PLANO...6 O que é um data lake?... 6 Hadoop é a base da maioria dos data lakes... 6 Cloudera Enterprise... 7 Plataforma de dados da Hortonworks... 7 Modelos de implementação comuns do Hadoop... 8 A proteção de dados é o obstáculo para a adoção corporativa de Big Data... 8 BACKUP E RECUPERAÇÃO DO HADOOP COM AS SOLUÇÕES DE PROTEÇÃO DE DADOS DA DELL EMC...9 Considerações específicas ao fazer backup do Hadoop... 9 Visão geral de alto nível do armazenamento de proteção do Dell EMC Data Domain... 9 Dell EMC DD Boost for Enterprise Applications... 9 Operacionalizando backups do Hadoop com o DD Boost for Enterprise Apps Benefícios do DD Boost for Enterprise Apps para Hadoop OUTRAS SOLUÇÕES DELL EMC PARA PROTEÇÃO DO DATA LAKE Visão geral de outras soluções Dell EMC para proteção do data lake Opções da Dell EMC para armazenamento de destino Visão geral de alto nível do armazenamento NAS de scale out Dell EMC Isilon Visão geral de alto nível do Dell EMC Elastic Cloud Storage (ECS) Proteção de dados do Hadoop Distributed Copy para ECS Benefícios do uso da proteção de dados do Hadoop Distributed Copy para ECS Visão geral de snapshots Isilon gerenciados pelo NetWorker Snapshot Management Snapshots do Isilon gerenciados pelo NetWorker Snapshot Management para o Data Domain Benefícios do uso dos snapshots Isilon gerenciados pelo NetWorker para o Data Domain Snapshots do Isilon gerenciados pelo NetWorker Snapshot Management para o Isilon Benefícios do uso de snapshots do Isilon gerenciados pelo NetWorker para o Isilon Snapshots do Isilon gerenciados pelo NetWorker Snapshot Management para ECS

4 Benefícios do uso de snapshots do Isilon gerenciados pelo NetWorker para o ECS BENEFÍCIOS PARA O CLIENTE CONCLUSÃO

5 RESUMO EXECUTIVO O Big Data Analytics na empresa está se desenvolvendo rapidamente, impulsionando os resultados transformadores para os negócios das empresas. É apenas uma questão de tempo até que o Big Data Analytics conduza as decisões de negócios das empresas, tornando-se o novo aplicativo de missão crítica. Hoje, conforme os casos de uso de Big Data aumentam rapidamente, eles muitas vezes entram em produção sem uma estratégia avançada de proteção de dados. As abordagens de backup interno que aproveitam snapshots e replicação atingem seus limites diante das expectativas de confiabilidade, disponibilidade e facilidade de manutenção de nível corporativo, que são a norma para outras cargas de trabalho. Hadoop é o framework líder de Big Data e a falta de backup e recuperação de desastres reais dele não é um problema em empresas que usam essas soluções para proteger outros aplicativos em seu ambiente. As empresas estão buscando um amplo histórico de proteção de dados do Hadoop, que abrange backup e recuperação de desastres. A Dell EMC respondeu ao desafio com o DD Boost for Enterprise Applications, que faz parte da família Dell EMC Data Protection Suite, para oferecer um aplicativo de backup de uso específico para o Hadoop. Agora, os administradores do Hadoop podem fazer backup e recuperar seus dados do Hadoop enquanto usam interfaces do usuário nativas de e para os sistemas Data Domain, armazenamento de proteção da Dell EMC líder no mercado. O DESAFIO O Hadoop nativamente não tem um recurso de backup point-in-time verdadeiro. Embora ele ofereça snapshots e recursos de replicação, eles não são suficientemente resilientes a erros de software, corrupção dos dados ou erro humano. A falta de backup e recuperação de desastres para o Hadoop prontos para uso corporativo é um grande inibidor para a adoção do Hadoop nas empresas. Com a popularização o uso de aplicativos de Big Data, o risco de tempo de inatividade ou perda de dados para os negócios adquire relevância significativa. Portanto, as empresas querem que seus dados do Hadoop sejam protegidos com SLAs semelhantes às cargas de trabalho convencionais de TI. VISÃO GERAL DA SOLUÇÃO A Dell EMC oferece uma estratégia de proteção de dados eficiente para lidar com os desafios associados ao Hadoop e outros ambientes de Big Data. Este documento discute o DD Boost for Enterprise Applications, que é licenciado como parte da família Dell EMC Data Protection Suite, e várias outras opções de solução de proteção de Data Lake corporativo da Dell EMC, que incluem: Sistemas Hadoop desenvolvidos com distribuições da Cloudera e Hortonworks e gerenciados por meio de ferramentas de linha de comando e UIs nativas de gerenciamento, como Cloudera Manager e Hortonworks Ambari. Suporte a clusters do Hadoop criados com o uso de armazenamento DAS local ou sistemas de armazenamento compartilhado, como o Dell EMC Isilon. Uso de estruturas nativas do Hadoop e integração ao file system do Hadoop. Outros produtos da Dell EMC (por exemplo, NetWorker, Isilon, armazenamento de proteção do Data Domain e Elastic Cloud Storage (ECS)) para fazer backup do Hadoop e de outros frameworks de Big Data. INTRODUÇÃO O objetivo deste white paper é apresentar informações básicas sobre por que o data lake (e especificamente a proteção do Hadoop) está adquirindo grande relevância e também descrever as várias soluções de proteção da Dell EMC para ele. Este artigo ajudará os clientes a atingirem níveis mais altos de retorno comercial e eficiência operacional com a implementação do data lake e frameworks de Big Data. PÚBLICO-ALVO Este white paper destina-se a administradores do Hadoop e de TI, engenheiros de sistemas, parceiros e membros da comunidade de serviços profissionais de parceiros e da Dell EMC que desejam entender melhor e implementar as soluções de proteção de data lake corporativo da Dell EMC. 5

6 SEGUNDO PLANO O QUE É UM DATA LAKE? Em termos simples, um data lake é um repositório central único que coleta dados de uma ampla variedade de origens, que por sua vez alimenta muitos aplicativos analíticos. Os data lakes são compostos por uma combinação de dados estruturados, semiestruturados e não estruturados. Vários aplicativos de lógica analística consomem dados nesse "lake", obtendo eficiência por meio da reutilização e consistência dos dados. Os data lakes evoluíram de Enterprise Data Warehouses (EDW), mas ao contrário do EDW, os data lakes não exigem um esquema inicial. Isso os torna capazes de dar suporte a novos frameworks de lógica analítica, como Hadoop, bancos de dados NoSQL etc, que podem analisar essas novas fontes de dados. Essa flexibilidade permite que os clientes adicionem e aproveitem facilmente muitas outras fontes de dados, permitindo que eles tomem melhores decisões de negócios com base em seus dados. Os data lakes agregam uma variedade de fontes de dados, de aplicativos corporativos tradicionais a novas fontes de dados não estruturados e semiestruturados, conforme ilustra a Figura 1 abaixo. Figura 1: Um data lake corporativo HADOOP É A BASE DA MAIORIA DOS DATA LAKES Hadoop é uma plataforma de dados de código aberto para o gerenciamento de grandes volumes de dados, de uma variedade de fontes de dados, em escala e com velocidade. Gerenciado pela Apache Software Foundation, inicialmente o Hadoop teve rápida adoção por grandes empresas da web. Com o surgimento de distribuições com suporte comercial de empresas, como Cloudera e Hortonworks, o Hadoop agora está passando por rápida adoção nas empresas também. O Hadoop é excelente para processamento distribuído de grandes conjuntos de dados em clusters de servidores genéricos. É especialmente bom no processamento e análise de grandes volumes de dados recebidos, semiestruturados e não estruturados, além de fontes de dados estruturados tradicionais. Essas qualidades aumentam a popularidade do Hadoop como uma plataforma de lógica analítica. Estudos do mercado afirmam que aproximadamente 60% dos sistemas de Big Data envolvem Hadoop, tornando-o a única plataforma de Big Data mais popular. 6

7 Muitos sistemas de Big Data também envolvem bancos de dados para dados semiestruturados e não estruturados, em muitos casos alimentando-se de dados em um sistema Hadoop (o data lake) e, opcionalmente, alimentando resultados de volta para o data lake. Portanto, a maioria das implementações do data lake gira em torno do Hadoop. CLOUDERA ENTERPRISE A Cloudera Enterprise (CDH), ilustrada na Figura 2 abaixo, junta o Apache Hadoop com vários outros projetos de código aberto e é uma das distribuições comerciais do Hadoop mais popular usada pelas empresas. O monitoramento, gerenciamento e operações do cluster são realizados na interface do usuário do Cloudera Manager. Figura 2: Cloudera Enterprise PLATAFORMA DE DADOS DA HORTONWORKS A plataforma de lógica analítica da Hortonworks ilustrada na Figura 3 abaixo, baseada no Apache Hadoop, também é popular entre as empresas. Ela junta componentes do Apache Hadoop para uma ampla variedade de sistemas analíticos lote, fluxo contínuo e em tempo real. O monitoramento, gerenciamento e as operações são realizados na interface do usuário do Hortonworks Ambari. A Hortonworks também tem como foco a agregação de recursos de segurança para o Hadoop. Figura 3: Plataforma de dados da Hortonworks (HDP) 7

8 MODELOS DE IMPLEMENTAÇÃO COMUNS DO HADOOP Independentemente da distribuição, existem três maneiras comuns nas quais o Hadoop pode ser implementado, que estão ilustradas na Figura 4 abaixo. Figura 4: Modelos de implementação comuns do Hadoop A PROTEÇÃO DE DADOS É O OBSTÁCULO PARA A ADOÇÃO CORPORATIVA DE BIG DATA Com o Big Data analytics prestes a se tornar o próximo aplicativo corporativo de missão crítica, as empresas estão exigindo um nível avançado de soluções de recuperação de desastres, backup e recuperação para seus sistemas de Big Data, especialmente o Hadoop. No entanto, o Hadoop não tem nativamente um recurso de backup point-in-time verdadeiro no momento. Embora ele ofereça snapshots e recursos de replicação, eles não são suficientemente resilientes a erros de software, corrupção dos dados ou erro humano. Em pequena escala, nos sistemas experimentais, os snapshots e a replicação podem ser suficientes como uma estratégia de backup e recuperação de desastres. Quando as empresas falam de colocar os aplicativos em produção, elas têm expectativas específicas na confiabilidade, tempo de funcionamento e capacidade de recuperação do aplicativo. É neste ponto que os snapshots e a replicação como estratégia de proteção de dados não são mais suficientes. A seguir estão alguns prós e contras dessas abordagens: Snapshots Replicação Vantagens Recuperação rápida Protege contra erro humano Incorporado ao Hadoop Cópia em outro sistema Incorporado ao Hadoop Desvantagens Requer muito armazenamento consome armazenamento primário mais caro Cansativo de gerenciar em escala Produção no armazenamento primário (mesmo domínio de falha) Requer tecnologias semelhantes Não é uma defesa contra erros de software, erro humano ou corrupção dos dados Não é uma cópia point-in-time Os objetivos fundamentais de uma estratégia de backup são: 1. Criar uma cópia point-in-time verdadeira dos dados originais em outro sistema distinto 2. Assim, a recuperação pode ser executada novamente em um bom point-in-time Como você pode ver, os primitivos integrados do Hadoop não podem ser chamados de um verdadeiro histórico de backup. As empresas que usam produtos de backup para seus outros aplicativos de TI percebem isso e estão pedindo um recurso de backup verdadeiro para o Hadoop. Com a crescente importância e dependência de lógica analítica para a tomada de decisões de negócios, o custo do tempo de inatividade ou perda de dados pode ser significativo. Por isso a necessidade de um recurso de backup e recuperação para o Hadoop. 8

9 BACKUP E RECUPERAÇÃO DO HADOOP COM AS SOLUÇÕES DE PROTEÇÃO DE DADOS DA DELL EMC CONSIDERAÇÕES ESPECÍFICAS AO FAZER BACKUP DO HADOOP Há diferenças cruciais entre o Hadoop e a arquitetura dos sistemas corporativos tradicionais: O Hadoop foi projetado para ser um sistema de scale-out, baseado em clusters de servidores genéricos e armazenamento, tolerante a falhas em componentes individuais. Ele foi projetado para processar dados de modo paralelo em muitos servidores ou "nós". O Hadoop File System (HDFS) também é distribuído por natureza. Os arquivos armazenados no HDFS são divididos em blocos, que são dispersos entre os nós no sistema. Os clusters do Hadoop geralmente são implementados nos discos locais do servidor (também chamados de armazenamento DAS). Sistemas de armazenamento compartilhados (NFS), como Dell EMC Isilon, são outra forma de implementar o Hadoop, o que é facilitado pela integração nativa do Isilon ao HDFS. O HDFS oferece alta disponibilidade, replicando cada bloco em vários nós (normalmente três vezes) para fins de redundância. Os sistemas do Hadoop são operados e gerenciados por administradores dedicados. Portanto, o processo de backup e recuperação do Hadoop muito provavelmente será de responsabilidade dos administradores do Hadoop, não dos administradores do backup ou do armazenamento. Portanto, fazer backup do HDFS requer que o aplicativo de backup esteja integrado ao HDFS e ao nó de gerenciamento do cluster (também chamado de nó de nome). Os volumes de dados no HDFS podem ser grandes, exigindo transferência de dados em paralelo para manter as janelas de backup em um tamanho razoável. VISÃO GERAL DE ALTO NÍVEL DO ARMAZENAMENTO DE PROTEÇÃO DO DELL EMC DATA DOMAIN Os sistemas de armazenamento de proteção do Dell EMC Data Domain oferecem velocidade e eficiência líderes do setor com throughput de até 68 TB/hora, permitindo que mais backups sejam concluídos mais rapidamente e reduzindo a pressão sobre janelas de backup. Os sistemas Data Domain aproveitam a desduplicação de tamanho variável para minimizar os requisitos de disco e garantir que os dados cheguem ao disco já desduplicados. Isso reduz os requisitos para armazenamento de backup e arquivamento de 10 a 30x, em média, tornando o disco uma alternativa econômica em relação à fita. Os dados no disco ficam disponíveis on-line e no local por períodos mais longos de retenção, e as restaurações e recuperações tornam-se rápidas e confiáveis. Essa eficiência permite aos sistemas Data Domain proteger até 150 PB de capacidade lógica para dados de backup e arquivamento em um sistema único. O Data Domain Boost (DD Boost) é um recurso que melhora o desempenho do backup em até 50%, reduz o consumo de largura de banda em até 99%, aumenta o sucesso do backup por meio da agregação automática de links e failover de caminho e oferece outros benefícios em comparação ao backup via NFS. Os sistemas Data Domain foram projetados como armazenamento de última instância construídos para garantir que você possa contar com a recuperação confiável dos dados. A Data Domain Data Invulnerability Architecture está presente no Data Domain Operating System (DD OS) para fornecer a melhor defesa do setor contra problemas de integridade de dados. Para obter informações adicionais sobre os sistemas Data Domain, consulte a Data Sheet do Dell EMC Data Domain, O retorno comercial do Data Domain Booste o white paper Dell EMC Data Domain Data Invulnerability Architecture. DELL EMC DD BOOST FOR ENTERPRISE APPLICATIONS O DD Boost for Enterprise Applications está disponível como um componente da família Dell EMC Data Protection Suite. O DD Boost for Enterprise Applications oferece verdadeiro backup point-in-time e recuperação de dados para armazenamento de proteção Dell EMC Data Domain por meio do protocolo DD Boost e utiliza agentes do aplicativo durante a integração a aplicativos: Agente de aplicativos Microsoft, agente de aplicativos do banco de dados e agente de aplicativos do Hadoop. O agente de aplicativos do Hadoop é usado ao proteger cargas de trabalho de Big Data. Aproveitando a eficiência de armazenamento e a confiabilidade dos sistemas Data Domain com o protocolo do DD Boost com uso eficiente de rede, o DD Boost for Enterprise Applications oferece ao administrador do Hadoop um conjunto de comandos da CLI para realizar seu próprio backup e recuperação. Os destaques técnicos do DD Boost for Enterprise Apps e Data Domain com base em solução de backup para ambientes Hadoop são: Verdadeiro backup e recuperação point-in-time dos dados do Hadoop para um sistema Data Domain. Integrado às interfaces originais do usuário de gerenciamento: Cloudera Manager e Hortonworks Ambari. 9

10 A integração do HDFS funciona com transparência por meio da redundância de armazenamento de três vias para fazer backup de uma cópia consistente dos dados. Usa construções padrão do Hadoop (por exemplo, MapReduce, distcp) para gerar agentes distribuídos do DD Boost, a fim de paralelizar a transferência de dados para um sistema Data Domain. Eficiência de largura de banda do DD Boost, envia apenas dados exclusivos pela rede. Simplicidade de gerenciamento e de ferramentas. Não é necessário implementar ou gerenciar agentes individuais do DD Boost. O administrador do Hadoop faz backup e recuperação do console de gerenciamento do cluster do Hadoop. O DD Boost for Enterprise Applications oferece um conjunto de comandos do Linux para backup, recuperação, pesquisa de arquivos, retenção etc. Cada administrador do Hadoop pode usar prontamente esses comandos e incorporá-los em outros fluxos de trabalho. As operações de backup podem ainda ser agendadas e automatizadas pelo Oozie. Registro de auditoria de alterações de configuração A tabela a seguir ilustra os pontos principais sobre o DD Boost for Enterprise Applications para proteção de dados do Hadoop: Origens de backup Destino(s) do backup Configurações de armazenamento compatíveis Interface do usuário Distribuições compatíveis Agendamento e automatização Tabelas de HBase e diretórios do HDFS Cloudera Manager e Hortonworks Ambari As políticas de backup podem ser associadas entre essas origens e um sistema Data Domain de destino. Um ou mais sistemas Data Domain, com licenças do DD Boost Armazenamento com conexão direta local do servidor (DAS), e Sistemas de armazenamento compartilhados (NAS) (por exemplo, Dell EMC Isilon) Aplicativo de linha de comando do Linux Cloudera Enterprise 5.4 e posterior Plataforma de dados da Hortonworks 2.2 e posterior Nenhum. O agendamento pode ser realizado usando Oozie ou cron O DD Boost for Enterprise Apps exige configuração mínima e instala somente no Nó de Nome do Cluster do Hadoop. Ele é totalmente integrado ao file system do Hadoop e aproveita a arquitetura de processamento distribuído de scale-out do Hadoop para paralelizar a transferência de dados do Hadoop para um sistema Data Domain. O DD Boost oferece uma transferência de dados com uso eficiente de rede com a desduplicação do lado do client, e o Data Domain oferece eficiência de armazenamento por meio da desduplicação e compactação. Juntos, eles formam o método mais eficiente de movimentação de grandes volumes de dados de um cluster do Hadoop a um sistema de destino do Data Domain. As construções padrão internas do Hadoop como a cópia de arquivo distribuída e snapshots do HDFS/HBase, são aproveitadas para realizar tarefas.a Figura 5 abaixo mostra o processo de implementação de um cluster do Hadoop com DD Boost for Enterprise Applications. 10

11 OPERACIONALIZANDO BACKUPS DO HADOOP COM O DD BOOST FOR ENTERPRISE APPS O workflow de configuração e provisionamento de alto nível: Instale o aplicativo no Nó de Nome do cluster do Hadoop. Provisione um ou mais sistemas Data Domain (os destinos do backup). Os sistemas Data Domain existentes que fazem backup de outras cargas de trabalho também podem receber backups do DD Boost for Enterprise Apps, desde que eles estejam executando o DD OS 6.0 e superior. Os sistemas Data Domain de destino devem ter uma ou mais unidades de armazenamento provisionadas para receber fluxos de backup do DD Boost for Enterprise Applications. A autenticação do Kerberos (se habilitada no cluster do Hadoop) deve ser habilitada neste momento. Os workflows de operações de backup e restauração de alto nível: Um diretório do HDFS ou uma tabela do HBase que receberá backup está associado a um sistema Data Domain de destino e à unidade de armazenamento onde os backups serão armazenados. Essa é a etapa de provisionamento de backup. As características de tempo de retenção também são especificadas quando os backups são provisionados. Se desejar, você também pode especificar um sistema Data Domain secundário (ou remoto) que receberá os backups replicados do sistema Data Domain de backup principal. Depois de configurado, o comando de backup fará backup do diretório do HDFS selecionado ou da tabela do HBase para o sistema Data Domain e a unidade de armazenamento provisionados. O processo de backup utiliza snapshots do HDFS no decorrer de seu trabalho, por isso certifique-se de que os snapshots estejam ativados para os diretórios ou tabelas nas quais será feito o backup. Quando uma restauração for necessária, o catálogo de backup no sistema Data Domain de destino pode ser listado na lista de comandos de backup para selecionar o ponto de restauração. O comando restore é usado para restaurar o diretório do HDFS ou a tabela de interesse do HBase de volta ao HDFS. Devido à integração HDFS, os backups são executados como trabalhos DistCp do HDFS para o sistema Data Domain, e trabalhos de restauração são trabalhos DistCp na direção inversa. A diferença importante é que esse processo é executado com transparência em segundo plano sem que o usuário precise gerenciar qualquer parte do processo. Backups e restaurações aproveitam internamente o DD Boost, com seus benefícios exclusivos de desduplicação, grupo de interface dinâmica e criptografia de TLS. O conjunto de comandos para proteção do Hadoop inclui: Configuração do Data Domain Provisionamento de backup Adicionar/Remover o sistema Data Domain Procurar configuração Testar a conectividade do sistema Data Domain Associar um diretório de origem do HDFS ou tabela de HBase com um destino do Data Domain Definir tempo de retenção Definir sistema de destino secundário (externo) do Data Domain Backup Diretório de backup do HDFS/tabela de HBase Configuração master de backup Restauração Restaurar diretório do HDFS/tabela de HBase Restaurar um subdiretório partindo do backup Restaurar configuração master Pesquisar arquivos Pesquisar backup por subdiretório/arquivo Gerenciamento de retenção Pesquisar backup usando expressão regular Alterar retenção absoluta Alterar retenção relativa 11

12 Expiração Expiração de backups antigos Listas de backup Listar backup único Listar backups por [filtro de intervalo/data] Listar configuração Exclusão Excluir backup único Excluir backups [filtro de intervalo/data] Kerberos Habilitar/desabilitar autenticação do Kerberos BENEFÍCIOS DO DD BOOST FOR ENTERPRISE APPS PARA HADOOP O DD Boost for Enterprise Applications oferece uma verdadeira solução de backup e recuperação para dados do Hadoop. O processo de backup e recuperação é gerenciado por administradores do Hadoop a partir das ferramentas de gerenciamento de clusters, usando as ferramentas nativas do Hadoop. Este é um workflow de backup centrado no aplicativo e, portanto, uma curva de aprendizado fácil. A experiência geral é a de usar um aplicativo de backup, em vez de gerenciar snapshots ou gerenciar a replicação por meio de scripting personalizado. A profunda integração ao HDFS permite que estruturas padrão do Hadoop e ferramentas, como MapReduce, Yarn e distcp, sejam usadas para fazer backup e recuperação de dados de/para o Data Domain. O DD Boost oferece uma transferência de dados com uso eficiente de rede com a desduplicação do lado do client, e o Data Domain oferece eficiência de armazenamento por meio da desduplicação e compactação. Juntos, eles formam o método mais eficiente de movimentação de grandes volumes de dados de um cluster do Hadoop a um sistema de destino do Data Domain. Por outro lado, o usuário não é responsável por gerenciar agentes do Boost ou montagens de NFS individualmente, aumentando a facilidade de uso. Gerenciar agentes individualmente por nó não é uma estratégia dimensionável para sistemas de scale-out, como o Hadoop. OUTRAS SOLUÇÕES DELL EMC PARA PROTEÇÃO DO DATA LAKE VISÃO GERAL DE OUTRAS SOLUÇÕES DELL EMC PARA PROTEÇÃO DO DATA LAKE A Dell EMC oferece diversas opções de solução para proteção do data lake corporativo: Snapshots do Isilon gerenciados por Dell EMC NetWorker, gerenciamento de snapshot para implementações de armazenamento compartilhado e o Dell EMC Elastic Cloud Storage. Essas soluções são ilustradas na Figura 6 abaixo e explicadas em mais detalhes no restante deste white paper. Figura 6: Outras soluções Dell EMC para proteção do data lake corporativo OPÇÕES DA DELL EMC PARA ARMAZENAMENTO DE DESTINO Conforme descrito nos parágrafos a seguir, as soluções Dell EMC para proteção do data lake corporativo, ilustradas na Figura 6, podem aproveitar o Dell EMC Data Domain, Dell EMC Isilon ou Dell EMC Elastic Cloud Storage (ECS) como armazenamento de destino, dependendo de vários fatores, que incluem acessibilidade, eficiência de armazenamento e necessidades de capacidade. 12

13 Os sistemas Data Domain são ideais para cargas de trabalho que se desduplicam bem (bancos de dados, arquivos etc.) e oferecem economia de armazenamento através da compactação e desduplicação de tamanho variável líderes do setor. O Isilon é uma boa opção para conjuntos de dados que não se desduplicam bem (vídeo, voz etc.) e oferece armazenamento econômico e eficiente a partir de um sistema único. O ECS é uma boa opção para cargas de trabalho em object na escala em nuvem (Exabytes). VISÃO GERAL DE ALTO NÍVEL DO ARMAZENAMENTO NAS DE SCALE OUT DELL EMC ISILON As soluções de armazenamento scale-out do Dell EMC Isilon foram projetadas para empresas que desejam gerenciar seus dados, e não seu armazenamento. Os sistemas de armazenamento Isilon são avançados, porém simples de instalar, gerenciar e dimensionar para praticamente qualquer tamanho. Além disso, ao contrário do armazenamento corporativo tradicional, as soluções do Isilon continuam simples, não importa quanta capacidade de armazenamento seja adicionada, quanto desempenho seja necessário ou como as necessidades dos negócios mudem no futuro. O Isilon desafia as empresas a pensar no armazenamento de modo diferente, pois só assim elas reconhecerão que existe uma forma melhor e mais simples com o Dell EMC Isilon. Com a combinação imbatível do ousado sistema operacional Isilon OneFS, do hardware de alto desempenho padrão do setor e do software avançado de gerenciamento de dados e armazenamento, o Isilon oferece um portfólio completo de soluções inovadoras de armazenamento que impulsiona o retorno comercial para os clientes otimizando workflows, processos e aplicativos de missão crítica. O armazenamento Isilon permite que empresas e organizações de pesquisa em todo o mundo gerenciem volumes de dados grandes e em rápida expansão de maneira altamente dimensionável, fácil de gerenciar e econômica. Todas as soluções Isilon foram criadas para agilizar a produtividade do workflow e reduzir gastos de capital e gastos operacionais, redimensionando ininterruptamente o armazenamento em sincronia com o crescimento dos dados essenciais. Para obter mais informações sobre o Isilon, consulte o Data sheet do Dell EMC Isilon. VISÃO GERAL DE ALTO NÍVEL DO DELL EMC ELASTIC CLOUD STORAGE (ECS) Os clientes estão continuamente em busca de arquiteturas mais eficientes para gerenciar o crescimento atual da hiperescala. Habilitado pelo Dell EMC ViPR, o novo appliance Elastic Cloud Storage (ECSTM) oferece uma infraestrutura completa de armazenamento com hiperescala projetada para atender aos requisitos dos aplicativos modernos. Independentemente do porte de sua organização, o appliance ECS permite que você ofereça serviços competitivos de armazenamento em nuvem e cresça sem esforço. O appliance ECS proporciona perfil de custos, simplicidade e escala dos serviços em nuvem pública a todos com a confiança, a segurança e o suporte que você espera da Dell EMC. O appliance ECS ajuda: Cientistas de dados a acelerar as iniciativas de Big Data Provedores de nuvem a oferecer serviços competitivos de armazenamento em nuvem em escala Corporações e desenvolvedores de software a acelerar o desenvolvimento O appliance ECS viabiliza o armazenamento com hiperescala e a economia de nuvem para empresas de qualquer porte ao combinar o poder do ViPR a uma plataforma de hardware genérico de scale-out de baixo custo e alta densidade. O appliance ECS está disponível em vários modelos que podem ser implementados e expandidos de modo incremental. Portanto, cada cliente pode escolher o tamanho ideal para suas necessidades imediatas e seu crescimento projetado. Agora, os clientes têm a possibilidade de otimizar sua solução com base em seus aplicativos e em suas necessidades de acesso proporcionando a flexibilidade e o controle que eles desejam. Para obter mais informações sobre o Elastic Cloud Storage, consulte o Data Sheet do Dell EMC ECS. PROTEÇÃO DE DADOS DO HADOOP DISTRIBUTED COPY PARA ECS Esta seção apresenta mais detalhes sobre aproveitar o utilitário nativo Distributed Copy (DistCp) integrado ao HDFS (Hadoop File System) para backup e restauração de dados a partir de uma computação integrada e data lake de armazenamento para um Elastic Cloud Storage Appliance no local. A decisão de usar o ECS como o armazenamento de destino para essa solução geralmente será tomada pelos clientes, considerando três fatores principais: 1. Você já sabe que seus dados não obteriam a economia significativa de armazenamento com a compactação e desduplicação de tamanho variável que os sistemas Data Domain podem oferecer? 2. Você precisa da hiperescala que o ECS oferece? (Exabytes) 3. Você precisa da acessibilidade do object/hdfs? DistCp (cópia distribuída) é uma ferramenta padrão fornecida com todas as distribuições do Hadoop e versões que podem ser usadas para copiar diretórios inteiros do Hadoop. A DistCp é executada como um trabalho do MapReduce para executar cópias de arquivos em paralelo, utilizando completamente seus sistemas, se desejado. Também há uma opção para limitar a largura de banda para controlar o impacto em outras tarefas. Essa solução pode ser usada de duas maneiras diferentes. 13

14 1. Uma abordagem tira um snapshot do HDFS a partir do aplicativo Hadoop e move o snapshot usando a DistCp para o armazenamento de destino. 2. A segunda abordagem usa a DistCp diretamente para o armazenamento de destino. A vantagem da primeira abordagem é que o aplicativo é liberado depois que o snapshot for concluído. Neste cenário de proteção do data lake, o administrador do Hadoop usa a DistCp para executar backups completos usando o NFS via Ethernet para um Appliance ECS no local. O método padrão para restaurar um backup de DistCp do ECS para uma infraestrutura tradicional do Hadoop é executar a DistCp na direção inversa. Isso é feito trocando os caminhos de origem e de destino. É possível executar restaurações parciais ou totais e as restaurações podem ser direcionadas para o local original ou um local alternativo. Os clientes têm a opção de aproveitar a replicação do ECS para um Appliance ECS separado instalado em um segundo local para maior proteção de recuperação de desastres. As restaurações da DistCp podem então ser realizadas no segundo local do Appliance ECS para recuperação de desastres. BENEFÍCIOS DO USO DA PROTEÇÃO DE DADOS DO HADOOP DISTRIBUTED COPY PARA ECS Os clientes perceberão benefícios muito importantes com o uso da proteção do data lake do Distributed Copy para o Elastic Cloud Storage. Acima de tudo, essa solução de proteção de data lake corporativo oferece proteção de dados de nível corporativo para Hadoop contra perda ou corrupção de dados. Essa solução também oferece a visibilidade direta do administrador do Hadoop e controle sobre a proteção do data lake. O appliance ECS viabiliza o armazenamento com hiperescala e a economia de nuvem para empresas de qualquer porte ao combinar o poder do ViPR a uma plataforma de hardware genérico de scale-out de baixo custo e alta densidade. O Appliance ECS pode ser implementado e expandido de maneira incremental, portanto, você pode escolher o tamanho certo para suas necessidades imediatas e seu crescimento projetado. O ECS permite que você otimize sua solução de proteção do data lake com base em seus aplicativos, seus requisitos de armazenamento e suas necessidades de acesso proporcionando a flexibilidade e o controle desejados. Se um cliente já usa o Elastic Cloud Storage para outras necessidades, os mesmos processos e expertise podem ser aproveitados para a proteção do data lake. VISÃO GERAL DE SNAPSHOTS ISILON GERENCIADOS PELO NETWORKER SNAPSHOT MANAGEMENT Os snapshots Isilon gerenciados pelo NetWorker Snapshot Management, ilustrados à direita na Figura 6, se aplicam a implementações de data lake em que a computação e armazenamento são separados e a camada do HDFS está em execução no armazenamento compartilhado. Como você está usando o armazenamento compartilhado, os clientes podem aproveitar todos os recursos de gerenciamento de dados que estão integrados à camada de armazenamento. Isso significa que os clientes podem aproveitar a funcionalidade dos snapshots do Isilon gerenciados pelo NetWorker e também podem fazer substituições do armazenamento de proteção do Data Domain. Uma substituição refere-se à realização de um backup de um snapshot em um dispositivo de armazenamento de proteção secundário via protocolo de gerenciamento de dados da rede. Ela geralmente é realizada quando a retenção de dados mais longa for um requisito. SNAPSHOTS DO ISILON GERENCIADOS PELO NETWORKER SNAPSHOT MANAGEMENT PARA O DATA DOMAIN Esta seção apresenta mais detalhes sobre aproveitar o EMC NetWorker Snapshot Management para proteção do data lake em implementações nas quais a computação e armazenamento são separados e a camada do HDFS está em execução no armazenamento Isilon. Como você está usando o armazenamento compartilhado do Isilon, é possível aproveitar todos os recursos de gerenciamento de dados do Isilon que estão integrados à camada de armazenamento. Nesse cenário de proteção do data lake, o NetWorker gerencia os snapshots Isilon que, em seguida, são transmitidos para um sistema de armazenamento do Data Domain no local. A decisão de usar os sistemas Data Domain como o armazenamento de proteção de destino para essa solução geralmente será tomada pelos clientes com base na consideração de três fatores principais: 1. Seus dados se beneficiarão do armazenamento de compactação e desduplicação de tamanho variável do Data Domain? 2. A escalabilidade do armazenamento do Data Domain atende às suas necessidades? (Terabytes) 3. O NFS atende às suas necessidades de acessibilidade? 14

15 O administrador do NetWorker pode definir uma única política para automatizar o processo de proteção de dados, que inclui iniciar um snapshot no sistema Isilon do data lake e depois executar uma substituição desse snapshot do Isilon usando o servidor de fita do protocolo de gerenciamento de dados da rede via Ethernet para um sistema Data Domain no local. O sistema Data Domain incluirá os dados do snapshot e realizará a compactação e desduplicação de tamanho variável. O NetWorker mantém catálogos para todos os backups, snapshots e clones, o que torna as restaurações para essa solução de proteção do data lake simples e diretas. O NetWorker também pode gerenciar a retenção de snapshots. Para executar uma restauração, o administrador do NetWorker pode restaurar de modo simples e rápido a partir do snapshot inicial, ou pode selecionar um dos savesets do backup NDMP que foi transmitido para o sistema Data Domain e então restaurá-lo de volta ao sistema Isilon primário usando NDMP via Ethernet. Restaurar a partir do snapshot oferece o benefício de um RTO muito mais rápido, enquanto a recuperação a partir do backup em um Data Domain oferece acesso rápido a RPOs maiores. O NetWorker pode realizar restaurações completas ou parciais e as restaurações podem ser direcionadas ao local original ou a um local alternativo no mesmo dispositivo. Os clientes têm a opção de aproveitar a replicação controlada pelo NetWorker para um sistema Data Domain separado instalado em um segundo local para maior proteção de recuperação de desastres. As restaurações do NetWorker podem então ser realizadas a partir do sistema Data Domain do segundo local para recuperação de desastres. BENEFÍCIOS DO USO DOS SNAPSHOTS ISILON GERENCIADOS PELO NETWORKER PARA O DATA DOMAIN Os clientes terão benefícios muito importantes com o gerenciamento de snapshots Isilon pelo NetWorker para proteção do data lake a um sistema Data Domain. Acima de tudo, essa solução de proteção de data lake corporativo oferece proteção de dados de nível corporativo para Hadoop contra perda ou corrupção de dados e oferece RTOs superiores. O NetWorker Snapshot Management simplifica o processo de proteção de dados ao automatizar snapshots do array e as substituições para o Data Domain. Essa solução de proteção de dados oferece várias opções para recuperação, que incluem recuperação do snapshot inicial e de savesets de substituição no armazenamento de proteção do Data Domain. A Data Invulnerability Architecture do Data Domain oferece a melhor proteção de dados da categoria, garantindo que os dados de seu data lake possam ser recuperados quando necessário e que os dados sejam confiáveis. Os sistemas Data Domain oferecem eficiência de armazenamento por meio da compactação e desduplicação de tamanho variável, geralmente reduzindo os requisitos para armazenamento em 10 a 30 vezes. Os sistemas Data Domain também são muito rápidos, com capacidade de inclusão de dados de até 68 TB/hora, minimizando o tempo para concluir os backups de proteção do data lake. Se o cliente já utiliza o NetWorker ou os sistemas Data Domain para outras necessidades de proteção de dados, os mesmos processos e expertise podem ser aproveitados para proteção do data lake. E, finalmente, o NetWorker pode ser aproveitado para gerenciar a replicação do Data Domain com uso eficiente da largura de banda para um sistema Data Domain em um segundo local para recuperação de desastres opcional. SNAPSHOTS DO ISILON GERENCIADOS PELO NETWORKER SNAPSHOT MANAGEMENT PARA O ISILON Esta seção apresenta mais detalhes sobre como aproveitar o Dell EMC NetWorker Snapshot Management para proteção do data lake em implementações nas quais a computação e armazenamento são separados e a camada do HDFS está em execução no armazenamento do Isilon. Como você está usando o armazenamento compartilhado do Isilon, é possível aproveitar todos os recursos de gerenciamento de dados do Isilon que estão integrados à camada de armazenamento. Nesse cenário de proteção do data lake, o NetWorker gerencia os snapshots do Isilon que, em seguida, são replicados a um segundo sistema de armazenamento do Isilon no local. A decisão de usar o snapshot do Isilon e replicar a proteção dessa solução geralmente será tomada pelos clientes, considerando quatro fatores principais: 1. Você já sabe que seus dados não obteriam a economia significativa de armazenamento com a compactação e desduplicação de tamanho variável que os sistemas Data Domain podem oferecer? 2. É viável proteger o volume de dados que precisa ser protegido dentro das janelas de backup designadas? 3. A escalabilidade de armazenamento do Isilon atende às suas necessidades? (Petabytes) 4. Sua organização tem os requisitos de acessibilidade ao NFS/SMB (CIFS)/HDFS? O administrador do NetWorker pode definir uma única política para automatizar o processo de proteção de dados, que inclui iniciar um snapshot no sistema Isilon do data lake e controlar automaticamente a replicação desse snapshot do Isilon usando o Isilon SyncIQ para um segundo sistema Isilon no local. O segundo sistema Isilon armazenará uma cópia dos dados do snapshot que foram replicados pelo NetWorker e pelo Isilon SyncIQ. 15

16 O NetWorker mantém catálogos para todos os backups, snapshots e clones, o que torna as restaurações para essa solução de proteção do data lake simples e diretas. O NetWorker também pode gerenciar a retenção de snapshots. Para executar uma restauração, o administrador do NetWorker pode simplesmente restaurar do snapshot inicial, ou pode selecionar um dos snapshots que foram replicados para o sistema Isilon de destino e, então, restaurá-lo de volta ao sistema Isilon primário. O NetWorker pode realizar restaurações completas ou parciais e as restaurações podem ser direcionadas ao local original ou a um local alternativo no mesmo dispositivo. Em um cenário de replicação remota, o NetWorker também pode orquestrar e gerenciar a substituição do protocolo de gerenciamento de dados da rede para um sistema Data Domain ou outro destino de backup no site remoto, transferindo completamente o backup do sistema Isilon de produção. Isso permite backups semanais ou trimestrais de conjuntos de dados maiores sem afetar a produção diária. BENEFÍCIOS DO USO DE SNAPSHOTS DO ISILON GERENCIADOS PELO NETWORKER PARA O ISILON Os clientes terão benefícios muito importantes com o gerenciamento de snapshots do Isilon pelo NetWorker para proteção do data lake a um armazenamento Isilon. Acima de tudo, essa solução de proteção de data lake corporativo oferece proteção de dados de nível corporativo para Hadoop contra perda ou corrupção de dados e oferece RTOs superiores. O NetWorker Snapshot Management simplifica o processo de proteção de dados ao automatizar os snapshots iniciais e o processo de replicação para um Isilon secundário. Essa solução de proteção de dados oferece várias opções para recuperação, que incluem recuperação do snapshot inicial no sistema Isilon de origem e de snapshots replicados no segundo sistema Isilon. Além disso, a capacidade de substituição para um sistema Data Domain permite a retenção de prazo mais longo e maior proteção contra corrupção dos dados e desastres. O processo de snapshot, replicação e substituição pode controlado por uma política única. O Isilon é uma plataforma ideal para Hadoop e outros aplicativos de Big Data. Ele usa a codificação de eliminação para proteger os dados com mais de 80% de eficiência do armazenamento, em contraste com o HDFS tradicional, que tem eficiência de armazenamento de 33%. O Isilon possui várias classes de tipos de nós. Isso permite que diferentes níveis do Isilon sejam otimizados para determinadas cargas de trabalho. Se o cliente já utiliza o Isilon ou o NetWorker para outras necessidades, os mesmos processos e expertise podem ser aproveitados para essa solução de proteção do data lake. O NetWorker Snapshot Management é um recurso integrado ao NetWorker que utiliza workflows comuns e a interface do usuário para snapshots e backup. E, finalmente, o NetWorker pode ser aproveitado para gerenciar a replicação do Isilon para outro sistema Isilon em um segundo local para recuperação de desastres opcional. SNAPSHOTS DO ISILON GERENCIADOS PELO NETWORKER SNAPSHOT MANAGEMENT PARA ECS Esta seção apresenta mais detalhes sobre como aproveitar o Dell EMC NetWorker Snapshot Management para proteção do data lake em implementações nas quais a computação e armazenamento são separados e a camada do HDFS está em execução no armazenamento do Isilon. Como você está usando o armazenamento compartilhado do Isilon, é possível aproveitar todos os recursos de gerenciamento de dados do Isilon que estão integrados à camada de armazenamento. Nesse cenário de proteção do data lake, o NetWorker gerencia os snapshots do Isilon que, em seguida, são transmitidos para um appliance Elastic Cloud Storage (ECS) no local. A decisão de usar o ECS como o armazenamento de destino para essa solução geralmente será tomada pelos clientes, considerando três fatores principais: 1. Você já sabe que seus dados não obteriam a economia significativa de armazenamento com a compactação e desduplicação de tamanho variável que os sistemas Data Domain podem oferecer? 2. Você precisa da hiperescala que o ECS oferece? (Exabytes) 3. Você precisa da acessibilidade do object/hdfs? O administrador do NetWorker pode definir uma única política para automatizar o processo de proteção de dados, que inclui iniciar um snapshot no sistema Isilon do data lake e depois executar uma substituição desse snapshot do Isilon usando APIs do ECS via Ethernet para um sistema appliance ECS no local. O NetWorker mantém catálogos para todos os backups, snapshots e clones, o que torna as restaurações para essa solução de proteção do data lake simples e diretas. O NetWorker também pode gerenciar a retenção de snapshots. Para executar uma restauração, o administrador do NetWorker pode simplesmente restaurar do snapshot inicial, ou pode selecionar um dos savesets que foi transmitido para o sistema ECS e então restaurá-lo de volta ao sistema Isilon primário usando APIs do ECS via Ethernet. O NetWorker pode realizar restaurações completas ou parciais e as restaurações podem ser direcionadas ao local original ou a um local alternativo no mesmo dispositivo. Os clientes têm a opção de aproveitar a replicação controlada pelo NetWorker para um Appliance ECS separado instalado em um segundo local para maior proteção de recuperação de desastres. As restaurações do NetWorker podem então ser realizadas no segundo local do Appliance ECS para recuperação de desastres. 16

17 BENEFÍCIOS DO USO DE SNAPSHOTS DO ISILON GERENCIADOS PELO NETWORKER PARA O ECS Os clientes terão benefícios muito importantes com o gerenciamento de snapshots do Isilon pelo NetWorker para proteção do data lake a uma solução Elastic Cloud Storage. Acima de tudo, essa solução de proteção de data lake corporativo oferece proteção de dados de nível corporativo para Hadoop contra perda ou corrupção de dados e oferece RTOs superiores. O NetWorker Snapshot Management simplifica o processo de proteção de dados ao automatizar snapshots iniciais e as substituições para o ECS. Essa solução de proteção de dados oferece várias opções para recuperação, que incluem recuperação do snapshot inicial e de savesets de substituição no armazenamento ECS. O appliance ECS viabiliza o armazenamento com hiperescala e a economia de nuvem para empresas de qualquer porte ao combinar o poder do ViPR a uma plataforma de hardware genérico de scale-out de baixo custo e alta densidade. O Appliance ECS pode ser implementado e expandido de maneira incremental, portanto, você pode escolher o tamanho certo para suas necessidades imediatas e seu crescimento projetado. O ECS permite que você otimize sua solução de proteção do data lake com base em seus aplicativos, seus requisitos de armazenamento e suas necessidades de acesso proporcionando a flexibilidade e o controle desejados. Se o cliente já usa o NetWorker ou o Elastic Cloud Storage para outras necessidades, os mesmos processos e expertise podem ser aproveitados para a proteção do data lake. BENEFÍCIOS PARA O CLIENTE Conforme mencionado, todas as soluções de proteção de data lake corporativo apresentadas neste documento oferecem a proteção de dados de nível corporativo necessária para o Hadoop contra perda ou corrupção de dados. A Dell EMC oferece aos clientes opções para selecionar a melhor solução de proteção do data lake dependendo do tamanho do data lake, dos tipos de dados, de suas necessidades de acessibilidade, além de seu armazenamento existente e expertise em proteção de dados. As opções de solução de proteção do data lake corporativo descritas neste artigo e que aproveitam os sistemas Data Domain como destino de armazenamento de proteção oferecem benefícios adicionais que são exclusivos para o Data Domain. A Data Invulnerability Architecture do Data Domain oferece a excelência em proteção de dados, garantindo que os dados de seu data lake possam ser recuperados quando necessário e que os dados possam ser confiáveis. Os sistemas Data Domain oferecem eficiência de armazenamento por meio da compactação e desduplicação de tamanho variável, geralmente reduzindo os requisitos para armazenamento em 10 a 30 vezes. Os sistemas Data Domain também são muito rápidos, com capacidade de inclusão de dados de até 68 TB/hora, minimizando o tempo para concluir os backups de proteção do data lake. Se o cliente já utiliza o Data Domain para outras necessidades de proteção de dados, os mesmos processos e expertise podem ser aproveitados para proteger seu data lake. O DD Boost for Enterprise Applications, que faz parte da família Dell EMC Data Protection Suite, oferece proteção de dados do Hadoop. Os clientes do Hadoop têm ainda mais benefícios considerando que o Data Domain usa o poder do DD Boost com desempenho de backup que é superior ao NFS, reduzindo requisitos de largura de banda e melhorando o balanceamento de carga e confiabilidade. Dessa forma, o DD Boost for Enterprise Applications oferece uma experiência superior ao usuário integrando-se ao gerenciamento de cluster do Hadoop, ao file system do Hadoop e aproveitando as estruturas originais do Hadoop. As opções de solução de proteção do data lake corporativo descritas neste artigo e que aproveitam os sistemas Isilon como destino de armazenamento oferecem seu próprio conjunto adicional de benefícios exclusivos aos clientes. O Isilon usa a codificação de eliminação para proteger os dados com mais de 80% de eficiência do armazenamento, em contraste com o HDFS tradicional, que tem eficiência de armazenamento de apenas 33%. O Isilon tem várias classes de tipos de nós que permitem que diferentes níveis do Isilon sejam otimizados para cargas de trabalho específicas. Se sua organização já usa o Isilon para outras necessidades, os mesmos processos e expertise podem ser aproveitados para essas opções de solução de proteção do data lake. As opções de solução de proteção do data lake corporativo descritas neste artigo e que aproveitam o Elastic Cloud Storage (ECS) como o destino de armazenamento oferecem vantagens de escalabilidade e acessibilidade. O appliance ECS viabiliza o armazenamento com hiperescala e a economia de nuvem para empresas de qualquer porte ao combinar o poder do ViPR a uma plataforma de hardware genérico de scale-out de baixo custo e alta densidade. O ECS permite que você otimize sua solução de proteção do data lake com base em seus aplicativos, seus requisitos de armazenamento e suas necessidades de acesso proporcionando a flexibilidade e o controle desejados. E, finalmente, se sua organização já usa o Elastic Cloud Storage para outras necessidades, os mesmos processos e expertise podem ser aproveitados para a proteção do data lake. As soluções de proteção do data lake corporativo descritas neste artigo e que aproveitam o NetWorker oferecem uma série de vantagens adicionais, independentemente da opção de armazenamento usada. O administrador do NetWorker pode definir políticas de proteção de dados que automatizarão todas as atividades de snapshot e de substituição tornando as operações do dia a dia simples e eficazes. O NetWorker também oferece controle sobre a retenção de backups, snapshots e substituições, minimizando o esforço manual de retenção. E as opções de solução do NetWorker incluem a capacidade de recuperar a partir de snapshots do Isilon, além dos savesets de substituição fornecendo RTOs superiores e o máximo de flexibilidade. 17