Copyright 2013 EMC Corporation. Todos os direitos reservados.

Transcrição

1 Big Data & ANALYTICS TRANSFORMAM OS NEGÓCIOS 1

2 Big Data = dados estruturados + não estruturados Internet das Coisas Informações não corporativas Informações estruturadas em bancos de dados relacionais Gerenciadas e não gerenciadas Informações não estruturadas Informações de telemetria baseadas em local etc. O universo digital está crescendo PB por dia 2

3 A Importância do Big Data para o negócio Crescimento de dados Alto volume Contínuo Diverso Complexo É uma benção! Fornece material para análise. Novos conhecimentos tornamse disponíveis Análise Avançada Matemática / Estatística Preditivo Específico Baseada em evidências Insights novos & Características Genoma do cliente e Intimidade Sensíveis à localização decisões Ações em tempo real Áreas beneficiadas Produtos Marketing Agências Riscos É uma maldição! Tecnologia (velha TI) e não pode lidar com suas novas características e não pode extrair valor dos dados Novas Tecnologias Scale-out Relação custobenefício Flexível... Consciênci a Social... Novas fontes de receita 3

4 O que é Analytics? Analytics é a aplicação da tecnologia computacional e de estatística para solucionar problemas de negócios e da indústria. Praticamente, é o processo de tomada de decisões de forma realista e otimizada com base nos dados existentes. 4

5 Barreiras contra o ganho de valor do Big Data Longos tempos de ingestão e processamento Análises de dados presa em silos Fontes de dados pouco utilizadas

6 O Papel do CIO na Era de Big Data O Papel do CIO na Transformação de Big Data Os CIOs devem claramente abraçar o conceito de Big Data, porque representa o exemplo perfeito do tipo de tecnologia no qual a TI habilita a geração de oportunidades de negócio e possibilita a entrega de receitas significativas ou diferenciação competitiva única para a empresa 6

7 O QUE É NECESSÁRIO PARA APROVEITAR O Big Data? 7

8 Os negócios impulsionam os projetos de Big Data O Big Data exige uma forte colaboração da TI e das linhas de negócios Alinhe-se a iniciativas Priorize casos de uso Determine dados e tecnologia 8

9 Requisitos tecnológicos do Big Data Armazenar dados em escala de petabytes Reagir a um grande número de eventos Oferecer menor tempo de implantação 9

10 EMC e Big Data Armazenamento de dados de forma scale-out 1 Nuvem ou virtualizado 10

11 Isilon: armazenamento scale-out para Big Data Capacidade de expansão em grande escala Até 20 PB em um só file system Hadoop pronto para uso corporativo O HDFS está integrado ao sistema operacional OneFS Simplicidade no gerenciamento Gerencie PBs da mesma forma que faria com TBs 11

12 Descubra novos tratamentos com Big Data Acesso rápido a todos os dados Dimensione até 12 PB com desempenho linear Colabore nas pesquisas inovadoras Reduza a disseminação de doenças "Aumentamos um sistema único de arquivos para até 1 PB em menos de um ano e mantivemos o throughput necessário para continuar nossa pesquisa." 12

13 EMC e Big Data Armazenamento de dados de scale-out 2 1 Nuvem Data Fabric de alta capacidade e em memória ou virtualizado 13

14 Uma visão holística de um sistema de Big Data & Analytics: Real Time Streams ETL Real-Time Processing (s4, storm) Real Time Structured Database (hbase, Gemfire, Cassandra) Big SQL (Greenplum) Analytics Processamento Batch Dados Não Estruturados(HDFS) 14

15 Pivotal: integração de ativos da EMC e da VMware Desenvolvimento de aplicativos orientado por dados Fabric de aplicativos e nuvem da Pivotal Laboratórios de ciência de dados da Pivotal Fabric de dados da Pivotal Virtualização...ETC Armazenamento em nuvem 15

16 Reaja a grandes volumes de dados em tempo real Desenvolvimento de aplicativos orientado por dados Fabric de aplicativos e nuvem da Pivotal Laboratórios de ciência de dados da Pivotal Fabric de dados da Pivotal Virtualização...ETC Armazenamento em nuvem 16

17 Arquitetura de fabric de dados da Pivotal Data Ingestion System Data Staging Platform Analytic Data Marts Operational Intelligence Run-Time Applications Enterprise Data Warehouse 17

18 Estudo de caso: China CITIC Bank O banco de dados de análise de dados da Pivotal reduz o risco e aumenta as receitas Reduza o processo de análise de dados de meses para dias Reduza o risco de crédito com dados em tempo real, permitindo ajustes mais rápidos em limites de crédito Melhoria de 86% nos tempos de configuração de campanha de marketing "A central de cartão de crédito já recuperou até 40 vezes o investimento do projeto, o que é uma realização considerável." 18

19 EMC e Big Data Especialistas em ciência de dados 3 Laboratórios de ciência de dados da Pivotal Armazenamento de dados de scale-out 2 1 Nuvem Fabric de dados de alta capacidade e na memória ou virtualizado 19

20 Cientista de Dados: uma carreira emergente SPOTLIGHT ON Big Data by Thomas H. Davenport and D.J. Patil 20

21 Evolução do processo de análise de dados Inteligência de negócios versus análise de dados avançada (ciência de dados) Alta Técnicas e tipos de dados típicos análise preditiva de dados e data mining (ciência de dados) Otimização, modelagem preditiva, previsão de análise estatística Dados estruturados/não estruturados, qualquer tipo de fonte, conjuntos de dados muito grandes VALOR COMERCIAL Ciência de dados Perguntas comuns E se? Qual é o cenário ideal para nossos negócios? O que acontecerá depois? E se essas tendências continuarem? Por que isso está acontecendo? Business Intelligence Business Intelligence Técnicas e tipos de dados típicos Geração de relatórios padrão e específica, painéis de controle, alertas, consultas, detalhes sob demanda Dados estruturados, fontes tradicionais, conjuntos de dados gerenciáveis Baixo Passado TEMPO Futuro Perguntas comuns O que aconteceu no último trimestre? Que quantidade vendemos? Onde está o problema? Em quais situações? 21

22 Acelere projetos: Data Science Labs Os cientistas de dados trabalham com você em seus dados Detecção de fraude Quant. Modelagem Modelagem financeira Genôma do cliente Análise bayesiana Tráfego de TI/rede Analytics de imagens e gráficos Processamento de fala e linguagem 22

23 Construindo uma área de Cientistas de Dados 23

24 Matriz de Habilidades Habilidade Quantitativa Analistas Quantitativos, Estatísticos, e Analistas de Negócios Recém Graduados em CTEM Cientistas de Dados Profissionais de Business Intelligence, TI Habilidade Técnica 24

25 Perfil do Cientista de Dados Quantitativo Técnico Curioso e Criativo Questionador Comunicativo & Colaborativo 25

26 Construindo uma prática de Big Data no banco Financeiro Comercial Operações Marketing Tesouraria... Riscos Organização: Nível Executivo Senior Abordagem orientada a serviços Cientistas de Dados Desenvolvimento de modelos R, SAS, Stata CEO, CIO, CDO, VP de Analytics, Diretor de Analytics Cientistas de Dados Desenvolvimento de algoritmos Java, C++, Python, MapReduce Promover Analytics e raciocínio baseado em evidências, muda a forma como as pessoas tomam decisões. Time de Analytics -Centralizada -Forte interação com Negócios e TI -Pleno acesso aos dados -Não se fundir com Business Intelligence -Perfil: -Doutor ou Mestre em Estatítica, Ciência da Computação, ou cursos na área de Exatas -Experiência com Mineração de Dados -Fluencia em R, SAS, SQL, Java -Conhecimento da Indústria Financeira - Ordem de contratação: - Cientista de Dados Jr. para começar a gerar valor para os pilotos - Coordenador para organizar, evangelizar, e atrair novos talentos - Contratar mais recursos conforme a demanda High Performance DB Hadoop Visualização Processamento Paralelo Federação de Dados... Infraestrutura de TI 26

27 EMC Estrutura da Plataforma Unificada de Analytics Plataforma Analítica Centro de Ciência de Dados Entrega de Labs na "Escala Big Data" Plataforma de análise em tempo real 27

28 Centro de Inovação e Ciência de Dados Princípios fundamentais Construção de um centro de ciência de dados é, em primeiro lugar, construir uma infra-estrutura formada por pessoas. Analytics é um processo de descoberta iterativa de conhecimento e tem de ser gerida como tal. Descoberta começa fazendo as perguntas certas - Que podem ser tão importantes quanto encontrar respostas a essas perguntas. Gerenciamento do Projeto Engenharia e Arquitetura de Dados Cientistas de Dados Treinamento Formal e on the job Mapeamento de perfis dentro da cia. Definição de papéis e habilidades e serem desenvolvidas Planos de supervisão e comunicação Relatórios de status Alinhamento organizacional Mitigação de riscos Planejamento de recursos Facilitar os processos de carregamento de dados dos sistemas de origem para infra-estrutura do centro Coordenar as necessidades de dados com cientistas de dados Melhor práticas didáticas para o desempenho das análises A migração de dados para suportar novas aplicações Promover uma cultura de colaboração de dados Executar trabalhos de Laboratório em torno de geração/aumento de receita específica ou esforços de ganhos de eficiência operacional Educação mão na massa com novas técnicas de análise de dados Introduzir novas ferramentas e metodologias de análise Identificar candidatos para treinamentos específicos e mais profundos de ciência de dados Criar currículo de formação oficial Metodologia Recrutamento Interno Imersão de Hadoop na EMC Americana Construir conhecimento institucional para a equipe de cientistas de dados 28

29 Plataforma G2 em Ação 29

30 EMC e Big Data Especialistas em ciência de dados 3 4 Desenvolvimento rápido de aplicativos Laboratórios de ciência de dados da Pivotal 2 Armazenamento de dados de scale-out 1 Fabric de dados de alta capacidade e na memória Nuvem ou virtualizado 30

31 Aplicativos de Big Data diferenciam os negócios Acesso de dispositivos móveis e da Internet das Coisas 31

32 Big Data Use Cases 32

33 Melhorar Retenção de Clientes Wealth Management e cross-selling Gerenciar Riscos CUSTOMER EXPERIENCE Reduzir Custos Eficiência Operacional AUMENTAR RECEITAS Situação Atual do Cliente: Tem tido tradicionalmente uma postura muito qualitativa e reativa, ao invés de quantitativa e pró-ativa, para antecipar as necessidades de produtos para clientes, retenção de clientes em ambiente de mercado volátil, e definir produtos adequados para o cross-selling Isso leva a custos significativamente de atrair novos clientes mais elevados versus a manutenção dos existentes e diminuiu das receitas potenciais em perder oportunidades para aprofundar / ampliar relações Descrição da Solução: Coletar e organizar grandes volumes de dados internos e externos (estruturados e não estruturados) para ir além dos tradicionais Business Intelligence para alavancar Big Data Analytics Desenvolver modelos de análise preditiva para antecipar as necessidades dos clientes, o foco do serviço e marketing de produtos e gerenciar as reações do cliente para eventos de mercado ou macro, incluindo alertas e notificações Integrar os resultados de análise preditiva para prospecção do FA e modelo de relacionamento FA-Cliente Valor de Negócios: Aquisição, gestão e retenção de clientes mais efetiva Custo de reter clientes é muito menor do que atrair novos Criar negócios e receita adicional através da antecipação das necessidades dos clientes e minimizar a migração do cliente Cientista de Dados Dados Cliente segmentação de clientes Tolerâncias a risco Perfil de Investimento Investimento histórico e dados de transações Ativos detidos fora FA Workstation, Mobile Devices Predictive Analytics Dados Produtos Informações sobre o produto Fluxos AUM Histórico produto análise cliente histórico Análise de perda Financial Advisor Dados não tradicionais eventos macro Notícias do Mercado mídias sociais Estilo de Vida do cliente 33

34 Iniciar 34

35 EMC - Big Data Advisory Services Piloto de BI / Analytics BI / Analytics Avaliação da Maturidade Analytics Analytics Lab Solução Big Data usando Hadoop Big Data Advisory Services Estratégia em Data Warehouse Data Warehouse / ETL Consolidação de Data Warehouse Migração de Data Warehouse Next Gen Data Warehouse Estratégia de MDM Qualidade de Dados Governança de Dados Implementação MDM Master Data Management 35

36 Comece com um workshop de visão de Big Data Identifique onde o Big Data fornecerá vantagem competitiva Identifique casos de uso de Big Data Adquira e prepare dados estruturados e não estruturados Construa e refine continuamente modelos de análise lógica Publique percepções nos aplicativos Meça a eficácia das decisões 36

37 A EMC pode ajudá-lo a treinar seu talento EMC Academic Alliance e cursos de Big Data Para obter mais informações, acesse: ou 37

38 A EMC pode ajudá-lo a treinar seu talento EMC Academic Alliance e cursos de Big Data Público Ofertas de cursos Líderes de negócios Introdução à ciência de dados e análise de dados de Big Data para obter transformação dos negócios Módulo de mais de 90 minutos Novidade Líderes de negócios e gerentes Ciência de dados e análise de dados de Big Data para transformação dos negócios 1 dia Novidade Todos os futuros cientistas de dados Ciência de dados e estudos analíticos de Big Data 5 dias Para obter mais informações, acesse: ou 38

39 Resumo O Big Data transforma os negócios O Big Data exige colaboração de negócios e da TI A EMC pode ajudá-lo com Big Data hoje 39

40