Agenda. Intro Migrando de relatório para uma solução de BI Under the Hood Operação e Lições aprendidas

Transcrição

1

2 Agenda Intro Migrando de relatório para uma solução de BI Under the Hood Operação e Lições aprendidas

3 FALAR da SAMBA

4 FALAR da SAMBA HACKWEEKS

5

6

7

8 Reporting & Analytics

9 No Início - Report Fornecer informações de uso Estatísticas e dados gerais

10 No Início - Report Número de Visualizações Número de Visualizações Completas Retenção por quartil Tráfego Número de Uploads, etc

11 No Início - Report + Dados

12 No Início - Então decidimos coletar mais dados - Java, Python e Mysql! Problema: Custo Elevado Apresentava bom desempenho T1 Problema: Instabilidade, interações entre aplicações Aplicações com perfis muito diferentes convivendo num mesmo cluster. Crescimento expressivo no volume de dados e requisições Problema: crescimento acelerado da base, administração do banco.

13 O Problema mudou? Rever os objetivos O problema mudou?

14 FEYNMAN PROBLEM-SOLVING ALGORITHM Murray Gell-Mann Feynman

15 FEYNMAN PROBLEM-SOLVING ALGORITHM 1. Write down the problem. Murray Gell-Mann

16 FEYNMAN PROBLEM-SOLVING ALGORITHM 1. Write down the problem. 2. Think very hard. Murray Gell-Mann

17 FEYNMAN PROBLEM-SOLVING ALGORITHM 1. Write down the problem. 2. Think very hard. 3. Write down the answer Murray Gell-Mann

18 O problema - BI De Relatórios Para Analytics

19 O problema - BI + Clientes +Segmentos + Dados +Perguntas

20 O problema - BI Dados Vivos Informação

21 O problema - BI Dados Vivos Informação

22 Processamento de dados

23 + Perguntas a cada dia Qual minha retenção média? Vídeo mais assistido? De onde é minha audiência? Qual é o perfil da minha audiência? Qual o melhor horário para publicar um vídeo? Qual parte do meu vídeo recebeu mais seeks? Qual é a conversão? Quais dispositivos estão sendo usados? E crescendo.

24 Somos uma startup Foco na Inovação e construção da solução

25 Objetivos Manter foco na Inovação Flexível SLA Alto Escalável Pagar de acordo com o uso Baixo custo de administração de infra

26 Objetivos Design agrega valor! A visualização dos dados deve ser clara e objetiva.

27 Ge ral Analytics geral

28 VI DEO Analytics detalhes de consumo da media

29 EM ALTA Em alta

30 QU EM Perfil da audiência

31 Samba facts Dados de volume do analytics

32 Filosofia Unix Small Sharp Tools

33 Data Pipeline - STTM Sambatech Tracking Model COLETAR PROCESSAR INFORMAR Data Pipeline COLETOR PROCESSADOR API

34 STTM - Solução HTTP IN HTTP OUT COLETOR API S3 Data and Logs PROCESSADOR AGREGADOR Amazon SQS SUMARIZADOR Dynamo Glacier EMR Data Processing

35 Data Pipeline - STTM COLETAR PROCESSAR INFORMAR Data Pipeline COLETOR

36 Coleta de dados - STTM GET sttm.gif sttm.gif? sttms=12de f2-80f0-8b8b-909ec4 c4f158&sttmu=123a232saa111kkkk3&stt mm=p07,r07,p08,r08,p09,r09,p10,r10&stt mw=pid:310/cat:5219/ mid:b1e9b34ce8f6d8e73d5793a d&sttmk=ae810ebc7f0654c4fadc50935 adcf5ec&&sttmsg=org: m.br&sttmm=play Response 35 Bytes COLETOR

37 COLETOR - Objetivos Rápido Escalável Simples Confiável Consistente Flexível

38 COLETOR

39 COLETOR HTTP IN COLETOR Msg Builder Logger

40 COLETOR HTTP IN COLETOR Msg Builder Logger Amazon SQS

41 COLETOR HTTP IN COLETOR Msg Builder Glacier S3 Data and Logs Logger Amazon SQS

42 COLETOR HTTP IN GIF COLETOR Msg Builder Glacier S3 Data and Logs Logger Amazon SQS

43 COLETOR

44 Comunicação Assincronia e Controle de fluxo Sem perdas de mensagens Log de mensagens não processadas. Escalável sob demanda Alto SLA Gerenciado Amazon SQS Custo relativamente Baixo Não suporta AMQP

45 Data Pipeline COLETAR PROCESSAR INFORMAR Data Pipeline PROCESSADOR

46 Processador PROCESSADOR AGREGADOR Amazon SQS SUMARIZADOR Dynamo EMR Data Processing

47 Agregador AGREGADOR Amazon SQS Builder Dynamo Msg Agreg

48 Porque Dynamo Baixa Latência Alta performance Gerenciado Escalável Alto SLA Multi A/Z Dynamo Hot Keys Problem

49 Agregador AGREGADOR Amazon SQS Builder Msg Agreg

50 Agregador AGREGADOR APP Srv Agregation Instances Auto scaling Group Amazon SQS Builder Msg Agreg

51 Hot Keys Problem 110 Write Capacity AGREGADOR Registro 82.5 Builder Dynamo Writes 55 Msg Agreg Time

52 Hot Keys Problem AGREGADOR Split Keys Builder Dynamo Msg Agreg

53 Hot Keys Problem 110 Write Capacity AGREGADOR Split Keys 82.5 Builder Dynamo Writes Msg Agreg Time

54 Hot Keys Problem AGREGADOR Split Keys Builder Dynamo Msg Agreg Tabelas Diarias

55 Processador PROCESSADOR AGREGADOR Amazon SQS SUMARIZADOR Dynamo EMR Data Processing

56 Sumarizador Sumarizador Dynamo EMR Data Processing

57 Porque EMR! Escalável Controle de Custos Managed Hadoop como serviço Map Reduce Engine EMR Data Processing Bom gerenciamento de capacidade Integração com S3 e Dynamo

58 Sumarizador Sumarizador Load EMR Data Processing Diarias Dynamo

59 Sumarizador 6Jobs Sumarizador Merge Keys Dynamo EMR Data Processing Diarias

60 Sumarizador Sumarizador Save EMR Data Processing Sumarizadas Minutos Horas Dynamo

61 Sumarizador Network Sumarizador 4x/dia Dynamo 1. Run job 2. Find Bottoleneck 3. Optimize EMR Data Processing

62 Sumarizador Alive Cluster Sumarizador 4x/dia Dynamo EMR Data Processing

63 Sumarização hierárquica Cliente Projeto Categoria Projeto Media Modelos de Árvore Child References Media Media Guarda a referência dos filhos Exemplo: Visualizações de todos os filhos do projeto (categorias): pid:2/*

64 Não exige operação em sub-arvores Eficiente para pais com múltiplos filhos

65 Otimizações locais são eficientes! Conhecer bem o problema e os dados é essencial.

66 Data Pipeline COLETAR PROCESSAR INFORMAR Data Pipeline API

67 API - Rest CDN API Dynamo

68 Ciclo de vida dos dados Permanente! Minuto, hora,dias, meses MYSQL Cluster API Dynamo

69 Analytics - Solução

70 RECAP HTTP IN HTTP OUT COLETOR API S3 Data and Logs PROCESSADOR AGREGADOR Amazon SQS SUMARIZADOR Dynamo Glacier EMR Data Processing

71 Lições aprendidas As aplicações são focadas, pequenas e conectadas por uma fila ou datastore. O output de uma é input para a outra.

72 Objetivos Manter foco na Inovação Flexível SLA Alto Escalável Pagar de acordo com o uso Baixo custo de administração de infra

73 Lei de Little L = λw L = média de requisições no sistema λ = média de chegada de requisições W = Tempo para processar uma requisição (latência)

74 Latência vs Custo 1 100% Latência vs Custo 0.75 Custo estimado Por Requisição Custo % 46% 40% 38% 37% Latência (H)

75 Latência vs Custo 1 100% Latência vs Custo 0.75 Custo estimado Por Requisição Custo % 46% 40% 38% 37% Latência(H)

76 Como manter tudo UP? Como Manter tudo no ar?

77 Como manter tudo UP and Running? Automatizar tudo! Metric Driven

78 Como manter tudo UP and Running? Automatizar tudo! Metric Driven Monitoramentos + 400

79 Como manter tudo UP and Running? Automatizar tudo! Metric Driven Monitoramentos Notificações de falha

80 Monitoramento e alertas Métricas Monitoramento e Alerta

81

82 FAIL FAST Falhe e se recupere rapidamente! -Reativo -Erros +Proativo! Provisionamento automático de Infraestutura Deploy e Configuração - CloudFormation / Ansible FailOver

83 FAIL FAST Cry Babies Alarmes críticos alertam o time e escalam automaticamente.

84 COn clu são Soluções gerenciadas ajudam a manter o foco no problema, mas podem trazer limitações inesperadas. Arquitetura flexíveis ajudam a responder rapidamente a limitações.!!!

85 Evoluções! Realtime Elastic Search Aumentar o uso do S3 para RAW Data DW Solution.(RedShift) +Análises

86 LIDIO RAMALHO,