Copyright 2012 EMC Corporation. Todos os direitos reservados.

Transcrição

1 1

2 A INFRAESTRUTURA DO FUTURO, HOJE Integrando Greenplum DCA e SAS para permitir estudos analíticos em big data Rafael Aielo Technology Consultant 2

3 O que é Greenplum? Adquirida pela EMC em julho de 2010 Parte do quadrante de líderes do Gartner DW Magic Quadrant, Jan/2011 e Fev/2012 Líder Forrester Wave em Hadoop, fevereiro de 2012 Missão: Fornecer produtos e serviços que ajudem as empresas e provedores de serviços a obter os benefícios de negócios com análises em big data Mais de 400 clientes globais em todos os setores Oferece a única plataforma analítica integrada do setor 3

4 SAS: Software líder em análise de negócios Desempenho N 1 em análise de negócios Mais de clientes funcionários em todo o mundo Cultura Empresa n 1 para trabalhar nos EUA (2010, 2011) Parceiro confiável de grandes empresas e governos Experiência locais com SAS em 127 países Implementado em 93 das 100 maiores empresas 35 anos, líder em soluções analíticas Líder inovador Laboratório de análises avançada da SAS Cultura de inovação: 24% de reinvestimento em P&D 4

5 Uma parceria estratégica para computação de alto desempenho em ambientes analíticos

6 QUE PROBLEMAS LEVARÃO SEUS CLIENTES A REPENSAR A SUA PLATAFORMA ANALÍTICA? Não têm capacidade de expansão para os volumes de big data Não conseguem dar suporte completo ao processo de modelagem de análises estatísticas O carregamento de dados é muito lento A plataforma atual só é compatível com OLAP e eles precisam de análises avançadas - Relatório TDWI sobre práticas recomendadas para lógica de big data, quarto semestre 2011

7 A Plataforma Analítica Integrada GREENPLUM EQUIPE DE CIÊNCIA DE DADOS Cientista de dados Admin. da plataforma de dados Engenheiro de dados Greenplum Chorus camada de produtividade analítica Ferramentas e serviços de terceiro s /parceiros Camada de acesso e consulta aos dados Greenplum Database Analista de dados Analista de BI Greenplum Hadoop Usuário de LOB Dispositivos físicos ou infraestrutura em nuvem privada/híbrida 7

8 Greenplum Database Desempenho por meio do paralelismo Arquitetura Scale-Out em hardware commodity Paralelização automática Carregue e consulte como qualquer banco de dados Distribua tabelas por todos os nós automaticamente Sem necessidade de particionamento nem de ajuste manual Arquitetura MPP sem compartilhamento e extremamente escalável Carregamento Interconexão Todos os nós executam as rotinas paralelamente Capacidade de expansão linear por meio da adição de nós Expansão on-line ao adicionar novos nós de processamento 8

9 Greenplum HD Solução Hadoop pronta para uso corporativo Apache Hadoop Baseado na versão estável mais recente Suporte corporativo Suporte mundial da EMC, 24h x 7d Comprovação em escala Certificado em escala pela EMC Opção de armazenamento Isilon Aproveite o que há de melhor sem alterações nos aplicativos 9

10 GPDB compartilhamento de dados do GPHD Entrada/saída de dados do GPHD em consultas do GPDB GPHD Arquivo no HDFS GPDB External Tables 10

11 Greenplum Chorus Agilidade em Big Data Primeira Plataforma de Produtividade Analítica do Mundo Busque, explore, visualize e importe dados de toda a corporação Provisionamento self-service de áreas de trabalho para estudos analíticos Crie, compartilhe e publique descobertas para Estudos Analíticos mais ágeis 11

12 EMC Greenplum Permite a escolha de formas de implementação Greenplum Data Computing Appliance Escolha a composição dos módulos em incrementos de ¼ de rack Cresça adicionando novos módulos Uso imediato dos rescursos Soluções de Software Greenplum Greenplum Database, Hadoop, & Chorus em seu hardware x86 Flexibilidade para qualquer ambiente Licenças de uso permanente 12

13 Greenplum Data Computing Appliance Arquitetura Totalmente Modular 13

14 Greenplum Data Computing Appliance Arquitetura Modular Única Módulo Greenplum Database Standard GPDB 9TB capacidade (sem compressão)/36tb (com compressão) Cada servidor contém: 2 sockets/12 cores 48GB de memória 12 discos x 600GB Módulo Greenplum Database High Capacity GPDB 31TB capacidade (sem compressão)/124tb (com compressão) Cada servidor contém: 2 sockets/12 cores 48GB de memória 12 discos x 2TB Módulo Greenplum HD HD 28TB capacidade (3 cópias, sem compressão) Cada servidor contém: 2 sockets/12 cores 48GB de memória 12 discos x 2TB Módulo Greenplum Data Integration Accelerator (DIA) DIA 70TB capacidade Cada servidor contém: 2 sockets/12 cores 48GB de memória 12 discos x 2TB 14

15 Inicie com uma interconexão de alta velocidade... Módulo funcional Módulo funcional Módulo funcional Switch administrativo 2 switches 10 GE 2 servidores master do GPDB Módulo funcional 15

16 Adicione módulos de 1/4 de rack e expanda até doze racks 1º rack Rack de Agregação e Expansão Módulo funcional GP DB Módulo funcional GP DB Módulo funcional Módulo funcional ou DIA ou GP HD + Módulo funcional Módulo funcional ou DIA ou GP HD + GP DB Módulo funcional 16

17 Especificações do Greenplum Database Module Tipo de módulo Greenplum DB Módulo padrão Greenplum DB Módulo de alta capacidade Número de servidores 4 Número total de núcleos Memória total 48 núcleos 192 GB Tipo de armazenamento 600 GB 2 TB Número total de drives de armazenamento 48 Capacidade utilizável (sem compactação) 9 TB 31 TB Capacidade utilizável (com compactação) 36 TB 124 TB Taxa de varredura (Full Rack) 24 GB/s 14 GB/s Taxa de carregamento de dados (Full Rack) 10 TB/hora 10 TB/hora 17

18 Greenplum DIA Data Integration Accelerator Module Desenvolvido especificamente para fornecer integração rápida com o Greenplum DB e hospedar aplicativos de parceiros 18

19 Alta disponibilidade em todas as camadas Redundância em todos os componentes de hardware Espelhamento no banco de dados Greenplum Redistribuição automática do workload Failover automático dos nodes Greenplum DB Opções de implementeção de Disaster Recovery 19

20 Detalhes de configuração do servidor GPDB 20

21 Configuração de espelhamento do GPDB GP DB GP DB GP DB Servidor de segmento 1 Servidor de segmento 2 Servidor de segmento 3 Servidor de segmento 4 P1 P2 P3 M6 M8 M10 P4 P5 P6 M1 M9 M11 P7 P8 P9 M2 M4 M12 P10 P11 P12 M3 M5 M7 GP DB Conjunto de instâncias de segmentos ativos Os números de serviços primários e de espelhos são apenas exemplos. 21

22 O DCA pode sustentar até quatro falhas de servidor por rack, uma por módulo GP DB GP DB GP DB Servidor de segmento 1 Servidor de segmento 2 Servidor de segmento 3 Servidor de segmento 4 P1 P2 P3 M6 M8 M10 P4 P5 P6 M1 M9 M11 P7 P8 P9 M2 M4 M12 P10 P11 P12 M3 M5 M7 GP DB Conjunto de instâncias de segmentos ativos 22

23 Failover automático do Master Node - DCA Endereço IP virtual Servidor master Interconexão de redes Servidor master em standby Replicação das transações 23

24 Greenplum Data Computing Appliance Plataforma unificada de análise de dados Trabalhe com dados estruturados e não estruturados Perfeito fluxo de dados entre o GPDB e o GPHD Execute SAS e outras soluções no DIA Liderança em desempenho e capacidade Execução rápida de consulta de dados Carregamento de dados de alta capacidade Capacidade de vários petabytes em um único cluster Gerenciamento e suporte integrados Suporte e serviço 100% EMC Integração fácil com datacenters corporativos O Command Center fornece uma visão eficiente sobre todo o ambiente do DCA 24

25 Arquitetura integrada UAP Greenplum e SAS EQUIPE DE CIÊNCIA DE DADOS Cientista de dados Engenheiro de dados Analista de dados Business Intelligence SAS Analista de BI Greenplum Chorus camada de produtividade analítica Análise Estatística SAS Usuário de LOB Camada de acesso e consulta aos dados (SAS Access, SQL, MapReduce) Greenplum Database Greenplum Hadoop Admin. da plataforma de dados Infraestrutura Física de Servidores ou em nuvem privada/híbrida Gerenciamento de informações da SAS 25

26 ANÁLISE LÓGICA DE ALTO DESEMPENHO DA SAS COMPONENTES-CHAVE SAS HPA 26

27 ANÁLISE LÓGICA DE ALTO DESEMPENHO DA SAS COMPUTAÇÃO EM GRID SAS 27

28 ANÁLISE LÓGICA DE ALTO DESEMPENHO DA SAS IN-DATABASE SAS 28

29 ANÁLISE LÓGICA DE ALTO DESEMPENHO DA SAS ANÁLISE ESTATÍSTICA IN-MEMORY DA SAS 29

30 Visualização de negócios: SAS Visual Analytics Ponto inicial central Integração Visualizações baseadas em função GERENCIADOR DE AMBIENTES Plataforma In- Memory de análises Segurança Monitoramento EXPLORADOR VISUAL DE ANÁLISES Análise específica Detecção de dados DESIGNER VISUAL Relatórios para a Web ou celular BI MÓVEL Relatórios nativos interativos ios, Android 30

31 Melhorando o desempenho e a facilidade de gerenciamento do ambiente SAS 31

32 Etapa 1: Nova visão da arquitetura analítica Componentes básicos da solução integrada Análise estatística corporativa da SAS Solução totalmente integrada Soluções SAS Computação em GRID SAS In-memory SAS In-Database SAS BI SAS Gerenciamento de informações MPP em todo repositório Resultados analíticos mais rápidos e mais precisos sobre todos os dados Flexibilidade com balanceamento dinâmico de cargas de trabalho EMC Greenplum UAP Continuidade dos aplicativos atuais SAS 32

33 Etapa 2: Seleção dos componentes de produtos da SAS Foco no problema de negócios Soluções SAS Gerenciador de grid SAS (x86/linux) In-Memory SAS In-Database SAS BI SAS Gerenciamento de informações da SAS SAS Software SAS Fraud Framework SAS Grid Manager for Linux SAS Metadata Manager SAS EDI (Enterprise Data Integration) SAS Model Manager SAS HPA (High Performance Analytics) SAS HPMO (High Performance Marketing Optimization) SAS HP Risk (High Performance Risk) SAS Access for Greenplum (Processos básicos) SAS SA (Scoring Accelerator) for Greenplum SAS Visual Analytics (SA VA) SAS Data Integration Studio SAS Dataflux 33

34 Etapa 3: A Greenplum entrega a infraestrutura do ambiente analítico Ger. de grid da SAS no GP DIA Ger. de grid da SAS no GP DIA SAS HPA no GP DCA SAS HPA no GP DCA Armazena mento NAS Isilon Armazena mento NAS Isilon Armazena mento NAS Isilon Armazena mento NAS Isilon SAS VA no GP DIA SAS VA no GP DIA Ger. de grid da SAS no GP DIA Ger. de grid da SAS no GP DIA SAS HPA no GP DCA SAS HPA no GP DCA Armazena mento NAS Isilon Armazena mento NAS Isilon Armazena mento NAS Isilon Armazena mento NAS Isilon Nós GP Hadoop Nós GP Hadoop 192 núcleos de CPU Grid SAS Rack completo para HPA des. de modelo Isilon de 300 TB para conjuntos de dados SAS e Greenplum HD Nós do GP Hadoop c/ SAS VA 34

35 Isilon para programas SAS Isilon para Greenplum HD SAS Grid e outras soluções no GP DIA 35

36 Resumo A SAS e a EMC Greenplum têm estratégias de soluções altamente alinhadas e complementares A integração atual dos produtos permite que as empresas comecem sua jornada rumo à análises de big data hoje A integração futura dos produtos aumentará o valor que pode ser extraído da Plataforma Analítica Integrada 38

37 Twite por uma chance de ganhar um Iomega Desktop Hard Drive 1TB! As respostas corretas participarão do sorteio acima. O ganhador será anunciado no fim do evento. É preciso estar presente para receber o prêmio. 39

38 OBRIGADO 40

39