QCon SP Data Culture: Data Science e Machine Learning resolvendo problemas reais

Transcrição

1

2 QCon SP 2019 Data Culture: Data Science e Machine Learning resolvendo problemas reais

3 Quem somos Gabriel Lages Pollyanna Gonçalves Gerente de Data Science & Analytics na Hotmart Cientista de Dados na Hotmart Bacharel em Estatística, Ciências Econômicas e Especialista em Banco de Dados. Bacharel e Mestre em Ciência da Computação. Atua há mais de 10 anos com análise de dados, tendo como foco a tomada de decisão em empresas e disseminação da cultura de dados no Brasil. gabriel.lages@hotmart.com Atua há 4 anos com Data Science e Business Intelligence, e foi pesquisadora científica na área de Sentiment Analysis na Web. pollyannaogoncalves@gmail.com

4

5 Hotmart A Hotmart é a maior empresa especializada na venda e distribuição de produtos digitais da América Latina, líder de mercado desde sua fundação, em Em constante processo de internacionalização, a empresa possui escritórios em Belo Horizonte, Madri, Amsterdã, Bogotá e Cidade do México.

6 Hotmart +5 Milhões Milhões +150 Mil DE COMPRADORES DE USUÁRIOS PAÍSES DIFERENTES PRODUTOS

7 LE

8 TOP 3 MITOS LE EM DATA SCIENCE E MACHINE LEARNING

9 Mito 1 - Salários astronômicos

10 Mito 2 - Data Lake é o paraíso na terra

11 DATA LAKE OR DATA SWAMP?

12

13 Mito 3 - Você vai trabalhar só com modelos de Machine Learning e Deep Learning

14

15 Cultura de Dados: Por onde começar?

16 Como resolver esse problema?

17 Dados Auditáveis Dados Acionáveis Dados Acessíveis

18 Dados Auditáveis Dados Acionáveis Dados Acessíveis

19 Por que ter dados auditáveis é essencial para qualquer projeto de dados?

20 Por que ter dados auditáveis é essencial para qualquer projeto de dados?

21 Por que ter dados auditáveis é essencial para qualquer projeto de dados? Para evitar isto:

22 Por que ter dados auditáveis é essencial para qualquer projeto de dados? Para evitar isto: 1

23 Por que ter dados auditáveis é essencial para qualquer projeto de dados? Para evitar isto: 1 2

24 Por que ter dados auditáveis é essencial para qualquer projeto de dados? Para evitar isto: 2 1 3

25 1 Para a equipe da Plataforma: 2 3 Produto Ativo = Disponível no Mercado

26 1 Para o time de Vendas: 2 3 Produto Ativo = Fez pelo menos uma venda

27 1 Para o time de Backoffice: 2 3 Produto Ativo = Passou pelo processo de aprovação e foi ativado

28 Como resolver esse problema?

29 3 passos para se obter Dados Auditáveis 1 - Definir as regras de negócio 2 - Local para consultar estas regras 3 - As pessoas devem utilizar estas regras

30 1 - Quem define as regras? a) b) c) d) CEO da empresa Time de BI / Data As próprias equipes Outro

31 1 - Quem define as regras? e s a f a a r d t n e o d c n a) CEO da empresa n e e p e e s d a a b) Timeode BI/DATA t s s e r p p s m equipes c)a As e re próprias a e u q d)moutro e

32 STARTUP GROWING MATURE

33 STARTUP CEO

34 GROWING DATA TEAM

35 A área de dados não é o cérebro da empresa

36 A missão da área de dados é: Organizar e Otimizar a Inteligência Coletiva da empresa.

37 MATURE All teams

38 MATURE DE O M D O S O I T A R C Ã Ç ZA D A D S O All teams

39 O objetivo da Democratização de Dados é que qualquer um possa ter acesso aos dados a qualquer momento para tomada de decisão sem barreiras de acesso ou entendimento." Bernard Marr, Forbes

40 O caminho da Democratização de Dados 2 - Governança dos Dados 1 - Origem da Informação 4 - Visualização dos dados 3 - Métricas e Indicadores 5 - Compartilhamento de conhecimento

41 Na Hotmart, em % das pessoas da empresa já acessam as ferramentas de inteligência 508 consultas criadas apenas no primeiro trimestre do ano

42 2 - Onde armazenar as regras de negócio?

43

44 Na Hotmart: Repositório de Conhecimento Governança Integrações com databases Consultas a databases Visualização

45 Na Hotmart: Repositório de Conhecimento

46 Alternativa Open Source github.com/lyft/amundsendatabuilder ou escreva no Google: AMUNDSEN LYFT

47 2 - Governança dos Dados 1 - Origem da Informação 4 - Visualização dos dados 3 - Métricas e Indicadores 5 - Compartilhamento de conhecimento

48 +

49

50 Owner Feedbacks

51 3 - Garantir que as pessoas acessem e vejam valor nesse processo

52

53 Para uma cultura de dados forte Educar as pessoas Facilitar os processos Conquistar o apoio da empresa

54 MATURE DE O M D O S O I T A R C Ã Ç ZA D A D S O All teams

55 Dados Auditáveis Dados Acionáveis Dados Acessíveis

56 Soluções para dados acessíveis Ferramentas tradicionais para organização e análise de dados

57 Soluções para dados acessíveis Ferramentas de BI

58 Na Hotmart: Repositório de Conhecimento Governança Integrações com databases Consultas a databases Visualização

59 Arquitetura - Repositório de Conhecimento Web layer Datasources Datasource management Query management Rest controllers Client layer Storage layer

60 Arquitetura - Repositório de Conhecimento Web layer Datasources Datasource management Query management Rest controllers Client layer Storage layer

61 Arquitetura - Repositório de Conhecimento Web layer Datasources Datasource management Query management Rest controllers Client layer Storage layer

62 Arquitetura - Repositório de Conhecimento Web layer Datasources Datasource management Query management Rest controllers Client layer Storage layer

63 Arquitetura - Repositório de Conhecimento Web layer Datasources Datasource management Query management Rest controllers Client layer be... o T ued tin n co Storage layer

64 Solução 1 - Arquitetura de Eventos hotmart.dev/eng-dados

65 Solução 2 - BI Tradicional Soluções já consolidadas - Data Warehouses, Data Marts Pessoas Tempo

66 Solução 2 - BI Tradicional Soluções já consolidadas - Data Warehouses, Data Marts Pessoas Re s r cu s o s s a c s etempo os

67 Solução 3 - Data as a Service Plataformas de integração de múltiplas tecnologias de fontes de dados...

68 Dremio Plataforma de unificação de bancos de dados

69 Arquitetura - Dremio Ferramentas de BI Databases Datalakes Files Data as a Service Reflections Data Science Análise de Dados e API s API s

70 Arquitetura - Dremio Ferramentas de BI Databases Datalakes Files Data as a Service Reflections Data Science Análise de Dados e API s API s

71 Arquitetura - Repositório de Conhecimento Web layer Datasources Datasource management Query management Rest controllers Client layer Storage layer

72 Na Hotmart: Repositório de Conhecimento Governança Integrações com databases Consultas a databases Visualização

73 Na Hotmart: Repositório de Conhecimento

74 Alternativa Open Source metabase.com

75 2 - Governança dos Dados 1 - Origem da Informação 4 - Visualização dos dados 3 - Métricas e Indicadores 5 - Compartilhamento de conhecimento

76 Metabase Questions

77 Metabase Collections

78 Metabase Dashboards

79

80 + 2 - Governança dos Dados 1 - Origem da Informação 4 - Visualização dos dados 3 - Métricas e Indicadores 5 - Compartilhamento de conhecimento

81 Metabase ainda não conecta ao Dremio

82

83 Dados acessíveis e auditáveis são suficientes?

84 Entregar todos os dados nas mãos dos analistas pode não resolver Gráfico pico chargebacks

85 Rural Willys

86

87 Quase 70 anos mais tarde... Jeep Renegade 2014

88

89 Menos é mais Gráfico pico chargebacks

90 Como a área de dados pode tornar as pessoas mais produtivas?

91 Como a área de dados pode tornar as pessoas mais produtivas? Data Science + Machine Learning

92 Dados Auditáveis Dados Acionáveis Dados Acessíveis

93 Cenário: Crescimento do índice de fraude O analista conseguirá estudar uma grande quantidade de transações? Em tempo hábil?

94 Case 1: Machine Learning + Prevenção de fraude Identificação do problema

95 Case 1: Machine Learning + Prevenção de fraude Identificação do problema Quais características do fraudador?

96 Case 1: Machine Learning + Prevenção de fraude Identificação do problema Business Understanding Quais características do fraudador?

97 Case 1: Machine Learning + Prevenção de fraude Identificação do problema Business Understanding Quais características do fraudador? Etapa necessária para evitar que solução se torne blackbox

98 Case 1: Machine Learning + Prevenção de fraude Identificação do problema Business Understanding Quais características do fraudador? Mapeamento de dados

99 Case 1: Machine Learning + Prevenção de fraude Identificação do problema Business Understanding Quais características do fraudador? Mapeamento de dados Extração de datasets

100 Case 1: Machine Learning + Prevenção de fraude Identificação do problema Business Understanding Quais características do fraudador? Mapeamento de dados Data Understanding Extração de datasets

101 Case 1: Machine Learning + Prevenção de fraude Identificação do problema Business Understanding Quais características do fraudador? Mapeamento de dados Data Understanding Extração de datasets Merging de datasets

102 Case 1: Machine Learning + Prevenção de fraude Identificação do problema Business Understanding Quais características do fraudador? Mapeamento de dados Limpeza dos dados Data Understanding Extração de datasets Merging de datasets

103 Case 1: Machine Learning + Prevenção de fraude Identificação do problema Business Understanding Quais características do fraudador? Mapeamento de dados Preenchimento de dados faltantes Limpeza dos dados Data Understanding Extração de datasets Merging de datasets

104 Case 1: Machine Learning + Prevenção de fraude Identificação do problema Business Understanding Quais características do fraudador? Mapeamento de dados Preenchimento de dados faltantes Limpeza dos dados Data Understanding Data Preparation Extração de datasets Merging de datasets

105 Case 1: Machine Learning + Prevenção de fraude Identificação do problema Análise e exploração dos dados Business Understanding Quais características do fraudador? Mapeamento de dados Preenchimento de dados faltantes Limpeza dos dados Data Understanding Data Preparation Extração de datasets Merging de datasets

106 Case 1: Machine Learning + Prevenção de fraude Identificação do problema Análise e exploração dos dados Data Exploration Business Understanding Quais características do fraudador? Mapeamento de dados Preenchimento de dados faltantes Limpeza dos dados Data Understanding Data Preparation Extração de datasets Merging de datasets

107 Case 1: Machine Learning + Prevenção de fraude Identificação do problema Análise e exploração dos dados Data Exploration Seleção de features mais importantes Business Understanding Quais características do fraudador? Mapeamento de dados Preenchimento de dados faltantes Limpeza dos dados Data Understanding Data Preparation Extração de datasets Merging de datasets

108 Case 1: Machine Learning + Prevenção de fraude Identificação do problema Análise e exploração dos dados Business Understanding Quais características do fraudador? Mapeamento de dados Preenchimento de dados faltantes Limpeza dos dados Treino do modelo Validação do modelo Data Exploration Seleção de features mais importantes Data Understanding Data Preparation Extração de datasets Merging de datasets

109 Case 1: Machine Learning + Prevenção de fraude Identificação do problema Business Understanding Análise e exploração dos dados Quais características do fraudador? Mapeamento de dados Preenchimento de dados faltantes Limpeza dos dados Treino do modelo Validação do modelo Data Exploration Seleção de features mais importantes In-Depth Analysis Data Understanding Data Preparation Extração de datasets Merging de datasets

110 Case 1: Machine Learning + Prevenção de fraude Identificação do problema Business Understanding Análise e exploração dos dados Quais características do fraudador? Mapeamento de dados Preenchimento de dados faltantes Limpeza dos dados Treino do modelo Validação do modelo Data Exploration Seleção de features mais importantes In-Depth Analysis Data Understanding Data Preparation Extração de datasets Merging de datasets Deployment do modelo

111 Case 1: Machine Learning + Prevenção de fraude Identificação do problema Business Understanding Análise e exploração dos dados Quais características do fraudador? Mapeamento de dados Preenchimento de dados faltantes Limpeza dos dados Treino do modelo Validação do modelo Data Exploration Seleção de features mais importantes In-Depth Analysis Data Understanding Data Preparation Extração de datasets Merging de datasets Deployment do modelo Criação sistema de relatório de alerta

112 Case 1: Machine Learning + Prevenção de fraude Identificação do problema Business Understanding Análise e exploração dos dados Quais características do fraudador? Mapeamento de dados Preenchimento de dados faltantes Limpeza dos dados Treino do modelo Validação do modelo Deployment do modelo Construção de dashboard para usuário final Criação sistema de relatório de alerta Data Exploration Seleção de features mais importantes In-Depth Analysis Data Understanding Data Preparation Extração de datasets Merging de datasets

113 Case 1: Machine Learning + Prevenção de fraude Identificação do problema Business Understanding Análise e exploração dos dados Quais características do fraudador? Mapeamento de dados Preenchimento de dados faltantes Limpeza dos dados Treino do modelo Validação do modelo Deployment do modelo Construção de dashboard para usuário final Criação sistema de relatório de alerta Data Exploration Seleção de features mais importantes In-Depth Analysis Data Understanding Data Preparation Data Viz Extração de datasets Merging de datasets

114

115 Isso não deveria ser trabalho do modelo?

116 Risco de bloquear um falso positivo é alto e custoso para nosso negócio

117 Risco de bloquear um falso positivo é alto e custoso para nosso negócio Neste cenário, decidimos utilizar supervisão humana após predição do modelo

118 Resultados 81% de transações com fraude

119 Cenário: Crescimento de tickets do suporte Como atender a demanda crescente? Contratar mais agentes?

120 Case 2: Machine Learning + Atendimento tickets do suporte Identificação do problema Análise e exploração dos dados Business Understanding Brainstorm para levantamento de características Mapeamento de dados Preenchimento de dados faltantes Limpeza dos dados Treino do modelo Validação do modelo Data Exploration Seleção de features mais importantes Uma métrica boa pode ser ruim... Data Understanding Data Preparation Extração de datasets Merging de datasets

121 Modelo prediz 1 de N tipos comuns de problemas: Assunto 1 Assunto 2 Assunto 3 Assunto 4 Assunto... Se não prever a um nível de confiança aceitável: Outro

122 Nossa matriz de confusão Acc: 87% Acc: 97% Acc: 99%

123 Nossa real matriz de confusão

124 Nossa real matriz de confusão Baixa abrangência

125 Nossa real matriz de confusão 24 acertos a cada erro

126 Nossa real matriz de confusão 24 acertos a 5 acertos a cada erro cada erro

127 Nossa real matriz de confusão 24 acertos a 5 acertos a 2 acertos a cada erro cada erro cada erro

128 Não existe bala de prata na validação de modelos de Machine Learning Métricas precisam estar alinhadas com o negócio

129 Como melhoramos o modelo?

130 Case 2: Machine Learning + Atendimento tickets do suporte Identificação do problema Análise e exploração dos dados Data Exploration Business Understanding Brainstorm para levantamento de características Mapeamento de dados Preenchimento de dados faltantes Limpeza dos dados Data Understanding Data Preparation Vale a pena investir nesta etapa... Extração de datasets Merging de datasets

131 Limpeza de dados Remoção de stopwords Remoção de endereços de s e assinaturas Remoção de URLs no corpo da mensagem Remoção de saudações e despedidas Remoção de datas e números Remoção de códigos de barra

132 Antes Acurácia geral 29% Depois x Acurácia geral 76% +47p.p.

133 Case 2: Machine Learning + Atendimento tickets do suporte Aumento de 6% na taxa de satisfação média Queda de 55% tempo médio atendimento

134 E agora O trabalho acabou?

135 Dados Auditáveis Dados Acionáveis Dados Acessíveis

136 hotmart.dev/qcon

137 Dúvidas? Obrigado!