São Paulo August, 28 2018
HISTÓRIAS REAIS SOBRE COMO A LÓGICA ANALÍTICA DE DADOS ESTÁ IMPULSIONANDO A TRANSFORMAÇÃO DIGITAL EMILIO SILVEIRA CLIENT SOLUTION EXECUTIVE DELL EMC EMILIO.SILVEIRA@DELL.COM @EMILIOSILVEIRA ERIKA COSTA GERENTE SR. BIG DATA SOLUTIONS TIM BRASIL EOCOSTA@TIMBRASIL.COM.BR
MAS QUE É ESSA? 4 Copyright 2016 Dell Inc.
5 Copyright 2016 Dell Inc.
6 Copyright 2016 Dell Inc.
7 Copyright 2016 Dell Inc.
8 Copyright 2016 Dell Inc.
9 Copyright 2016 Dell Inc.
10 Copyright 2016 Dell Inc.
TECNOLOGY BUSINESS 12
VISÃO DE NEGÓCIOS EXCELÊNCIA OPERACIONAL CONHECENDO CLIENTE NOVAS OPORTUNIDADES REDUZIR OPEX OTIMIZAR CAPEX CUSTOMER EXPERIENCE OMNICHANNEL SENTIMENT ANALYSIS REAL TIME ANALYTICS IOT/SMART PRODUCTS BIG DATA AS A SERVICE
MAS O QUE É BIG DATA
VOLUME VELOCITY VARIETY VERACITY VALUE
4M s MAKE ME MORE MONEY
MAP REDUCE HADOOP HDFS
VALOR DATA PLAYGROUND (SANDBOX SQL) APP VER APRENDER FAZER Sandboxes TIM Brasil Marketing Consumer Network $ Financeiro Qualidade DATA PLAYGROUND PROTÓTIPO PRODUÇÃO TEMPO Tecnologia
FLUXO DATA LAKE PROCESSO INGESTÃO SISTEMA MEDIAÇÃO CATÁLOGO & METADADOS DATA SCIENTIST INFO ANTENNAS DADOS TRÁFEGO ENRIQUECIDOS DADOS TRÁFEGO + ANTENAS SIS DATA PLAYGROUND CGI (LOC. ANTENAS) DADOS CRM PROTÓTIPO COM MODELOS DADOS TRÁFEGO ENRIQUECIDOS (C/ CGI + CRM)
MODELO OPERACIONAL
TI CORE TEAM MARKETING FINANCEIRO COMERCIAL ANALISTAS DE NEGÓCIO FÁBRICA BIG DATA OPERAÇÃO, PRODUÇÃO & SUPORTE ENGENHARIA QUALIDADE
PROGRAMA BIG DATA ORGANIZAÇÃO (EXEMPLO) SOLUTIONS ARCHITECT FUNCTIONAL ARCHITECT DATA SCIENTIST ENGAGEMENT MANAGER Business/Analista Funcional Unidade de Desenvolvimento Big Data 01 Data Modeler 02 SAS Release Manager 03 DEV SR PROGRAM MANAGER AF LEAD AF2 AF3 FACTORY LEAD 03 DEV PL 06 DEV JR Processos & QA 02 SCRIBS
BIG DATA MODELO DE FÁBRICA
FÁBRICA BIG DATA EMC BIG DATA DNA
ARQUIETURA BIG DATA PLATAFORMA & ARQUITETURA BIG DATA
Máquinas Físicas ou Virtuais Máquinas Virtuais Máquinas Virtuais, PaaS ARQUITETURA BASEADA NO MODELO TEMPERATURA DE DADOS In-Memory NoSQL e Streaming Analytics Spark Framework de computação em memória Hadoop Plataforma-fundação para Data Lakes Isilon HDFS EMC Isilon NAS clusterizado de alto desempenho Temperatura dos Dados Volume Dado Quente Dados que precisam ser processados de modo próximo do tempo real. Requisitos de alta frequência e baixa latência. Banco em memória. Dado Morno (Micro-Batch) Exploração e análise interativa de dados, sandboxes SQL, DW de alto desempenho, ingestão micro-batch. Dado Morno (Batch) Enriquecimento de dados e relatórios padronizados. Consultas ad-hoc. Perfil Batch. Dado Frio Compressão e arquivamento de dados brutos e enriquecidos, disponíveis online.
INFRAESTRUTURAS DE BIG DATA UMA ARQUITETURA TRADICIONAL DE HADOOP (2006) WORKERS (DATANODE) COMPUTAÇÃO ARMAZENAMENTO Rede Ethernet MASTERS (NAMENODE) CLIENTES
DATALAKE COM DELL EMC ISILON COM HADOOP TRADICIONAL 2PBs DADOS 4PBs DADOS RAW RAW 500TB DADOS 1PB DADOS 1:4
DATALAKE COM DELL EMC ISILON COM DELL EMC ISILON 1.4PBs 700TBs DADOS RAW 500TB DADOS 1PB DADOS 1:1.4
INFRAESTRUTURAS DE BIG DATA CARACTERÍSTICAS DESEJADAS Storage Compartilhado Computação Virtualizada Infraestrutura Orquestrada Desacoplamento Disco-CPU
EVOLUÇÃO DATA LAKE @ TIM BRASIL 2013 2014 2015 2016 2018 EMC DCA EMC ISILON EMC ISILON EMC DCA GREENPLUM DB EMC ISILON DR/BCKP PILOT 16 NODES 160TBs DADOS DATA LAKE 1.0 NOVO ISILON 8 NODES 430TBs DADOS DATA LAKE 2.0 UPGRADE PARA 22 NODES 2.2PBs DADOS NOVA CAMADA EXPLORAÇÂO 48 NODES GREENPLUM DB EQUIPMENT DATA LAKE 3.0 DATALAKE BCKP UPGRADE DATALAKE PRODUÇÃO NOVO DATA LAKE BCKP + EXPLORAÇÃO 5.5PB TOTAL DATA LAKE