Data Driven Marketing. Tratamento de dados

Tamanho: px

Começar a partir da página:

Download "Data Driven Marketing. Tratamento de dados"

Fábio Mascarenhas Natal
5 Há anos
Visualizações:

1 Data Driven Marketing Tratamento de dados

2 Conceito Data Cleansing ou Data Cleaning - processo de análise responsável por detectar, corrigir ou remover dados inconsistentes de registros, tabelas ou banco de dados. Neste processo podemos: identificar dados incompletos dados mal formados/formatados substituir, tratar partes irrelevantes e sujeiras. Em um processo de limpeza comum: tratamento de erros de digitação e caracteres inválidos Em casos mais complexos: uso de validação, enriquecimento, padronização, normalização de dados.

Conceito Import Data Identificar e coletar dados na

Export Data Exportação dos dados limpos em arquivos

Unificar as fontes de dados em uma única fonte,

Verify & Enrich Validação dos dados em comparação

dados ausentes sempre que possível Standardise

duplicadas Normalise Garantir que o mesmo padrão e

3 Conceito Import Data Identificar e coletar dados na fonte, conteúdo cru. Export Data Exportação dos dados limpos em arquivos excel, csv, pdf, banco de dados Merge Data Sets Unificar as fontes de dados em uma única fonte, database. Verify & Enrich Validação dos dados em comparação com suas fontes e adição de novas informações se necessário. Data Cleaning Rebuild missing data Reconstruir dados ausentes sempre que possível Standardise De-Duplicate Identificar e remover ocorrências duplicadas Normalise Garantir que o mesmo padrão e estrutura de nomenclaturas e siglas estejam iguais em todas as ocorrências dos dados Padronizar a distribuição dos dados garantindo que os mesmos dados sejam distribuídos nas mesmas colunas.

4 Desafios / Problemas Problemas de Qualidade de Dados Fonte de dados única Múltiplas fontes de dados Schema Level Data Level Schema Level Data Level Falta de integridade Design do schema pobre - valores inválidos - violação de dependência - violação de identificadores únicos - violação de integridade referencial Input de dados - erro de escrita - duplicidade/redundância - valores contraditórios - encoding (UTF-8, ISO ) - valores mesclados Modelos de dados heterogêneos e schemas - conflitos de nomes de colunas - conflitos de estrutura Duplicidade, dados contraditórios e inconsistentes - agregação temporal inconsistente - agregação colunar inconsistente

5 Desafios / Problemas - Fonte de dados única - Data level Escopo / Problema Dado Sujo Motivo Atributo Valores inválidos startdate=31/02/2019 Valor fora de um range válido Registro Violação de dependência impressions=1000, clicks=500 CTR=70% Valor CTR viola o requisito de cálculo de CTR (500/1000)*100 = 50% Tipo do registro Violação de identificadores nome=campanha1, customid=123 nome=campanha2, customid=123 ID customizado de referência de duas campanhas diferentes foi utilizado de forma errada Fonte de dados Violação de integridade referencial nome=campanha1, customid=yd66 Não existe nenhuma referência do customid no CRM da empresa

6 Desafios / Problemas - Fonte de dados única - Schema level Escopo / Problema Dado Sujo Motivo Atributo Valores ausentes campanha=janeiro campanha=1 Valores errados ou sem valor para o negócio Erros de digitação campanha=blak-friday Valor digitado de forma incorreta Abreviações, Siglas campanha=bf_remarketing campanha=blackf_rmkt Valores misturados campanha=blackfriday_mobile_push Múltiplos valores inseridos no mesmo campo Valores preenchidos errados ga:source=dfa Se o parâmetro autotag for ligado no TagManager, valores como source são modificados Tipo do registro Trasnposição de valores nome=campanha_janeiro nome=fevereiro_campanha Geralmente ocorre em campos de preenchimento livre Duplicação de registros data= ;campanha=campanha1 data= ;campanha=campanha_1 Mesma campanha com representações distintas Valores discrepantes data= ;campanha=campanha1;impressions=1000 data= ;campanha=campanha1;impressions=800 Observamos discrepância de impressões na para mesma campanha Fonte de dados Violação de integridade referencial nome=campanha1, keyword=xxx-xxx-xxx Keyword não pode ser identificada em nenhuma outra ocorrência cruzada

Desafios / Problemas - Múltiplas fontes de dados GA ga:date ga:source ga:campaign ga:adcontent 2019-01-10 Facebok:cpc Facebook jan arquisicao-lead Facebook Date

7 Desafios / Problemas - Múltiplas fontes de dados GA ga:date ga:source ga:campaign ga:adcontent Facebok:cpc Facebook jan arquisicao-lead Facebook Date "Campaign name" "Ad set name" Webinar janeiro display_aquisicao-lead CM Date Site (DCM) Campaign Placement Facebook Jan wbnar arquisicao-lead

8 Sim, expressão regular é seu melhor amigo RegExp - São representações textuais utilizadas para definir padrões para realizar buscas textuais, encontrar posições e fazer validação em um bloco de texto. Ex1: bola Ex2: faceb.*k Linguagens de programação e a maioria dos editores de textos possuem nativamente uma Engine de processamento de expressões regulares. Site de teste de RegExp: Se alguma vez na sua vida você já utilizou uma ferramenta de busca/substituição(ctrl+f) dentro de um documento texto, é provável que você já tenha utilizado expressão regular. Exemplo: Mensagem: #$%&'()*+,-./ :;<=>?@ABCDEFGHIJKLMNOPQRSTUVWXYZ[\]^ Encontrar o conjunto numérico na mensagem: [0-9]+

Ferramentas do GCP Cloud Dataprep Cloud DataFlow Cloud Dataproc O Cloud Dataprep by Trifacta é um serviço

(tempo real) e em lote (do histórico) O Cloud Dataproc é um serviço de nuvem totalmente gerenciado, rápido

Ele executa os clusters do Apache Spark e do Apache Hadoop de maneira mais simples e econômica Serviço

9 Ferramentas do GCP Cloud Dataprep Cloud DataFlow Cloud Dataproc O Cloud Dataprep by Trifacta é um serviço de dados inteligente que permite a exploração visual, a limpeza e a preparação de dados estruturados e não estruturados para análise. O Cloud Dataflow é um serviço totalmente gerenciado para transformar e aprimorar dados nos modos de stream (tempo real) e em lote (do histórico) O Cloud Dataproc é um serviço de nuvem totalmente gerenciado, rápido e fácil de usar. Ele executa os clusters do Apache Spark e do Apache Hadoop de maneira mais simples e econômica Serviço totalmente gerenciado Manipulação interativa de dados Preparação rápida de dados Gerenciamento de recursos automatico Integrado com SDK do Apache Bean Menos sobrecarga operacional Gerenciamento automatizado de cluster Máquinas virtuais flexíveis Ferramentas para o desenvolvedor

10 Muito OBRIGADO! Lucas Nogueira Gerente de TI da Pedicta Luiz Claudio Cunha de Albuquerque Gerente de BI da Predicta

Documentos relacionados

Pipelines ETL. Aplicação de conceitos de DW para a construção de pipelines de extração, transformação e carregamento de dados.

Pipelines ETL. Aplicação de conceitos de DW para a construção de pipelines de extração, transformação e carregamento de dados. Pipelines ETL Aplicação de conceitos de DW para a construção de pipelines de extração, transformação e carregamento de dados Carlos Baqueta Contextualização Contextualização Quem sou eu? (momento filosófico)