Construa um Data Lake multi-protocolo e otimizado para analytics com ISILON. Fernando Pavan Isilon Specialist

Transcrição

1 Construa um Data Lake multi-protocolo e otimizado para analytics com ISILON Fernando Pavan Isilon Specialist 1

2 Crescimento de Dados Não Estruturados 67% 74% 80% EB 71 EB 133 EB Capacidade Total Entregue, Mundialmente Dados não estruturados Fonte: IDC 2

3 WORKLOADS TRADICIONAIS WORKLOADS DE NOVA GERAÇÃO NAS DAS SAN NUVEM FITA OBJETO 3

4 WORKLOADS TRADICIONAIS WORKLOADS DE NOVA GERAÇÃO NAS DAS SAN Isilon Scale-Out Data Lake NUVEM FITA OBJETO 4

5 Métodos de Acesso de Nova Geração FILE Data 5

6 Enterprise-Grade Funcionalidade Enterprise Features PROTEÇÃO DE DADOS Isilon Scale-Out Data Lake GERENCIAMENTO DE DADOS SEGURANÇA DE DADOS GERENCIAMENTO DE DESEMPENHO 6

7 OneFS: Arquitetura Scale-Out Único Volume/ File System Simplicidade & Facilidade de Uso Alto Desempenho Escalabilidade Linear Eficiência Incoparável Fácil Crescimento 7

8 Desempenho Isilon: Portfolio de Hardware NOVO! S210 NOVO! X410 S200 X400 X200 NL400 Capacidade 8

9 EMC Isilon Scale-Out Data Lake Aplicações Protocolos NFS SMB HTTP FTP RESTful API GET PUT POST DELETE HDFS para Hadoop REST para Objeto Gig-e 10 Gig-e Cliente / Aplicação Protocolo Ethernet Sistema Operacional OneFS Comunicação Intra-cluster 9

10 Hadoop no Scale-Out Data Lake SMB Node reply NameNode Data NFS SMB HTTP SMB, NFS, HTTP, FTP name node name node name node name node data node HDFS 10

11 Isilon Momentum 4,400+ CLIENTE SCALE-OUT LÍDER DE MERCADO 11

12 Gartner Scale-out NAS Capacidades Críticas EMC Isilon Isilon foi o único produto a receber a nota outstanding Dentre os produtos avaliados, Isilon se destaca em capacidade, desempenho, gerenciamento e resiliência. Gartner Scale-out NAS Critical Capabilities Survey, Fevereiro,

13 Capabilities IDC MarketScape: Scale-Out File-Based Storage Market Leaders (-) IBM (+) EMC (-) Quantum (-) HP Isilon é a espinha dorsal da EMC s para o segmento NAS scale-out (-) HDS (-) Huawei (-) Dell (-) DDN (-) Panasas (+) NetApp Major Players Contenders Participants EMC adquiriu Isilon no fim de 2010 e posiciona a arquitetura única em cluster para clientes que encaram o rápido crescimento dos dados, necessidades de mais banda, e demandas de alta disponibilidade. IDC MarketScape - Scale-Out File Based Storage Market, Janeiro,

14 Clientes - Brasil 14

15 Isilon Scale-Out Data Lake File system único, volume único, namespace global Mais de 80% de utilização do armazenmento tiering automatizado Vai de 18 TB a mais de 20 PB em um file system único Backup e recuperação eficientes, recuperação confiável em caso de desastre, e redundância de N+1 a N+4 Administração baseada em regras (RBAC); Zonas de autenticação; WORM Suporte aos principais protocolos, incluindo NFS, SMB, HTTP, FTP & HDFS 15

16 Caso de Uso Leandro Cruz Gerente de Infraestrutura de TI 16

17 A Instituição Inaugurada em 1971 no Morumbi 10 unidades avançadas e 1 centro administrativo Mais de 11 mil funcionários Reconhecida mundialmente pela excelência em suas práticas nos cuidados com o paciente, pela sólida infra-estrutura e os mais altos padrões de qualidade no atendimento. A Infra-estrutura pontos de rede access points wireless 600 servidores (75% virtual) 1,3 PB de armazenamento 140 sistemas câmeras de vigilância IP Disponibilidade média 14LE: 99,96%

18 RoadMap Aquisição e instalação de frame Isilon com 4 nodes X200 de 12 TBB e 2 switches InfiniBand. Migração de sistema de CFTV com câmeras IP. Início de uso como servidor de arquivos para distintos fins. Aquisição de 4 nodes NL400 de 108TBB. Migração de sistema de exames de imagem com carga inicial de exames (50TBL). Ativação de gravação de voz e vídeo para call center. Ampliação do uso como servidor de arquivos. Upgrade switches InfiniBand

19 Arquitetura X200 X200 X200 X200 NL400 NL400 NL400 NL400 4x1Gbps 4x1Gbps 4x1Gbps 4x1Gbps DNS load balance Switch Server Farm 1 Switch Server Farm 2 Backup VLAN Todos os nodes compõem um único cluster. Nodes X200 dedicados ao front-end com acesso balanceado por DNS. Nodes de front-end conectados a switches distintos via link aggregation. Espaço limitado por quotas. Segurança integrada ao Active Directory.

20 Load balance Node 1 Server farm 1 Node 3 Server farm 2

21