Histórias de Dados. Big Data 2018

Transcrição

1 Histórias de Dados Big Data 2018

2 O que é Big Data Big Data são assets de informação de alto-volume, alta-velocidade e/ou alta-variedade que demandam formas de processamento inovadoras e econômicas que permitem insights, tomadas de decisão e automação de processos. Gartner

3 O que é Big Data Variedade Volume Veracidade 5 v s Big Data Velocidade Valor

4 Armazenamento e Processamento Batch Processing Machine Learning

5 Macro Processos aquisição Engenheiro de Dados estocagem limpeza Cientista de Dados Analista de Negócio otimização agregação predição transformação consumo Data Lake Reservatório Curadoria

6 Big Data Landscape 2017

7 Princípios Cloud First Serveless Open Source Codificação Mínima

8 Blocos Estratégicos de Arquitetura Visualização Data Studio PowerBi Tableau Kibana Analytics Engines BigQuery AWS Athena ElasticSearch AWS Kinesis Data Streaming Apache Spark Streaming Inteligência e Aprendizado de Máquina Spark ML AWS Stack Google Cloud AI Processamento Batch Spark Google DataPrep Preparação de Dados Apache Nifi Data Lake Storage HDFS Google Cloud Storage AWS S3

9 Arquitetura Conceitual Data Lake Sandbox Sandbox Sandbox Business Analyst Dados Preparados Citzen Data Scientist Data Scientist Dados Brutos Data Engineer Fontes Externas DW Corporativo Globo.com

10 Estratégia de Dados Conteúdo Comportamento Monetização Comercial

11 Conteúdo

12

13 Desafios Fontes de dados diversas Desafios 3 semanas para entrega do projeto Ingestão e Otimização de dados Apoio aos jornalistas 100%

14 Segurança ISPRJ Saúde Datasus Complexo do Alemão Educação INEP Empregos Rais

15

16

17 Arquitetura

18 Conteúdo RAIS

19 Treinamento e Mentoria Treinamentos Mentoria 25 Jornalistas JORNALISMO DE DADOS Estrutura de Dados - 2h Estatística - 2h SQL - 4h em treinamento EDITORIAS RJ & SP Captura e estruturação de dados Construção de Análises Apoio na elaboração de pautas Editorias RJ & SP

20 Fora do Ponto

21 Fora do Ponto 7 Milhões sinais coletados 700 Mil Sinais Válidos

22 Fora do Ponto

23 Aquisição dos dados Processamento dos dados Google Pub Sub Google Cloud Storage Google Cloud Storage Dados Brutos Dados Preparados Dados Originais

24 Outras matérias geradas (Jornal da Globo Editoria SP)

25 Outras matérias geradas (RJTV / G1 Editoria RJ)

26 Mais de 500 candidatos usam títulos religiosos no nome 38% dos candidatos declaram patrimônio de urna zero nas eleições deste ano; RJ e SP são os estados com a maior competição por vaga no Legislativo 10% são milionários Escolaridade dos candidatos aumenta para todos os cargos nesta eleição Mesmo com lei, proporção de mulheres não aumenta nas eleições e Justiça precisa notificar coligações para que cumpram cota Metade dos eleitores brasileiros deve usar biometria para votar nas eleições de 2018 Proporção de eleitores com voto facultativo é a mais baixa das últimas eleições

27 Comportamento 27

28 Total Audience Direcionadores do projeto Padronização do conceito de Consumidor e Audiência

29 Fontes de Dados Dados de Dados de audiência do Broadcast Metadados de vídeos do Globoplay e sites Globo.com DW Dados de cobertura do país Dados de audiência dos vídeos do Globoplay (VoD e simulcast) e sites Globo.com Informações de programa único Visão Arquitetura

30 GLOBO.COM Solução Final TV Globo on-premise IBOPE Programa Único DW Atlas Google BigQuery Google Analytics 360 Google Cloud Storage Data Lake AWS Athena TV Globo cloud

31 Comportamento Engajamento Campanhas Publicitárias 31

32 + 3 MM Votantes Únicos 150 MM Eventos/dia 13 MM Eventos Votação/dia MM Votantes Únicos 32

33 Fluxo de dados Dados Brutos Horizon Dados de navegação Google Analytics Google Big Query Globo.com Dados Brutos Réplica Google Cloud Storage TVG T Google Big Query TVG Consolidados Ferramenta GA + GA API

34