São Paulo. August,

Transcrição

1 São Paulo August,

2

3 HISTÓRIAS REAIS SOBRE COMO A LÓGICA ANALÍTICA DE DADOS ESTÁ IMPULSIONANDO A TRANSFORMAÇÃO DIGITAL EMILIO SILVEIRA CLIENT SOLUTION EXECUTIVE DELL EMC ERIKA COSTA GERENTE SR. BIG DATA SOLUTIONS TIM BRASIL EOCOSTA@TIMBRASIL.COM.BR

4 MAS QUE É ESSA? 4 Copyright 2016 Dell Inc.

5 5 Copyright 2016 Dell Inc.

6 6 Copyright 2016 Dell Inc.

7 7 Copyright 2016 Dell Inc.

8 8 Copyright 2016 Dell Inc.

9 9 Copyright 2016 Dell Inc.

10 10 Copyright 2016 Dell Inc.

11

12 TECNOLOGY BUSINESS 12

13 VISÃO DE NEGÓCIOS EXCELÊNCIA OPERACIONAL CONHECENDO CLIENTE NOVAS OPORTUNIDADES REDUZIR OPEX OTIMIZAR CAPEX CUSTOMER EXPERIENCE OMNICHANNEL SENTIMENT ANALYSIS REAL TIME ANALYTICS IOT/SMART PRODUCTS BIG DATA AS A SERVICE

14 MAS O QUE É BIG DATA

15 VOLUME VELOCITY VARIETY VERACITY VALUE

16 4M s MAKE ME MORE MONEY

17 MAP REDUCE HADOOP HDFS

18

19

20 VALOR DATA PLAYGROUND (SANDBOX SQL) APP VER APRENDER FAZER Sandboxes TIM Brasil Marketing Consumer Network $ Financeiro Qualidade DATA PLAYGROUND PROTÓTIPO PRODUÇÃO TEMPO Tecnologia

21 FLUXO DATA LAKE PROCESSO INGESTÃO SISTEMA MEDIAÇÃO CATÁLOGO & METADADOS DATA SCIENTIST INFO ANTENNAS DADOS TRÁFEGO ENRIQUECIDOS DADOS TRÁFEGO + ANTENAS SIS DATA PLAYGROUND CGI (LOC. ANTENAS) DADOS CRM PROTÓTIPO COM MODELOS DADOS TRÁFEGO ENRIQUECIDOS (C/ CGI + CRM)

22 MODELO OPERACIONAL

23 TI CORE TEAM MARKETING FINANCEIRO COMERCIAL ANALISTAS DE NEGÓCIO FÁBRICA BIG DATA OPERAÇÃO, PRODUÇÃO & SUPORTE ENGENHARIA QUALIDADE

24 PROGRAMA BIG DATA ORGANIZAÇÃO (EXEMPLO) SOLUTIONS ARCHITECT FUNCTIONAL ARCHITECT DATA SCIENTIST ENGAGEMENT MANAGER Business/Analista Funcional Unidade de Desenvolvimento Big Data 01 Data Modeler 02 SAS Release Manager 03 DEV SR PROGRAM MANAGER AF LEAD AF2 AF3 FACTORY LEAD 03 DEV PL 06 DEV JR Processos & QA 02 SCRIBS

25 BIG DATA MODELO DE FÁBRICA

26 FÁBRICA BIG DATA EMC BIG DATA DNA

27 ARQUIETURA BIG DATA PLATAFORMA & ARQUITETURA BIG DATA

28 Máquinas Físicas ou Virtuais Máquinas Virtuais Máquinas Virtuais, PaaS ARQUITETURA BASEADA NO MODELO TEMPERATURA DE DADOS In-Memory NoSQL e Streaming Analytics Spark Framework de computação em memória Hadoop Plataforma-fundação para Data Lakes Isilon HDFS EMC Isilon NAS clusterizado de alto desempenho Temperatura dos Dados Volume Dado Quente Dados que precisam ser processados de modo próximo do tempo real. Requisitos de alta frequência e baixa latência. Banco em memória. Dado Morno (Micro-Batch) Exploração e análise interativa de dados, sandboxes SQL, DW de alto desempenho, ingestão micro-batch. Dado Morno (Batch) Enriquecimento de dados e relatórios padronizados. Consultas ad-hoc. Perfil Batch. Dado Frio Compressão e arquivamento de dados brutos e enriquecidos, disponíveis online.

29 INFRAESTRUTURAS DE BIG DATA UMA ARQUITETURA TRADICIONAL DE HADOOP (2006) WORKERS (DATANODE) COMPUTAÇÃO ARMAZENAMENTO Rede Ethernet MASTERS (NAMENODE) CLIENTES

30 DATALAKE COM DELL EMC ISILON COM HADOOP TRADICIONAL 2PBs DADOS 4PBs DADOS RAW RAW 500TB DADOS 1PB DADOS 1:4

31 DATALAKE COM DELL EMC ISILON COM DELL EMC ISILON 1.4PBs 700TBs DADOS RAW 500TB DADOS 1PB DADOS 1:1.4

32 INFRAESTRUTURAS DE BIG DATA CARACTERÍSTICAS DESEJADAS Storage Compartilhado Computação Virtualizada Infraestrutura Orquestrada Desacoplamento Disco-CPU

33 EVOLUÇÃO DATA TIM BRASIL EMC DCA EMC ISILON EMC ISILON EMC DCA GREENPLUM DB EMC ISILON DR/BCKP PILOT 16 NODES 160TBs DADOS DATA LAKE 1.0 NOVO ISILON 8 NODES 430TBs DADOS DATA LAKE 2.0 UPGRADE PARA 22 NODES 2.2PBs DADOS NOVA CAMADA EXPLORAÇÂO 48 NODES GREENPLUM DB EQUIPMENT DATA LAKE 3.0 DATALAKE BCKP UPGRADE DATALAKE PRODUÇÃO NOVO DATA LAKE BCKP + EXPLORAÇÃO 5.5PB TOTAL DATA LAKE

34