José Luiz Kugler FGV - EAESP

Transcrição

1 O outro lado da moeda nos projetos de Big Data: Benefícios, mitos e desafios José Luiz Kugler FGV - EAESP

2

3 1 Como chegamos até aqui?

4 Altamente especializado Caçador imbatível Forte, ágil e veloz Generalista Caçador, extrativista, pescador, agricultor Relativamente fraco e lento

5 Extinto há 13 mil anos Quase extinto em várias ocasiões, mas

6 Sobrevivemos graças a: criteriosa observação tentativa e erro amplo networking & trocas tentativa e erro uso eficiente de recursos tentativa e erro recombinação de estratégias e recursos tentativa e erro Inteligência de Negócios Eduardo de Rezende Francisco José Luiz Kugler 6

7 2 O ambiente competitivo atual

8 Inteligência de Negócios Eduardo de Rezende Francisco José Luiz Kugler 8

9 Ambiente competitivo atual Globalização Datificação da sociedade Intensa pressão de custos Consumidores exigentes e impacientes Erosão da lealdade Economia influenciada pelos modelos free & freemium Inteligência de Negócios Eduardo de Rezende Francisco José Luiz Kugler 9

10 3 Datificação

11 Quantos dados são gerados a cada minuto? Fonte: content/uploads/2012/06/domo-data-in-one-minute- 600x953.jpg

12 A datificação da sociedade

13 Os 5 Vs do Big Data Fonte: Bernard Marr, 2015

14 Na prática, isto significa: dados não intermediados por humanos forte teor qualitativo, quando gerados por humanos múltiplas fontes múltiplos stakeholders formato dinâmico e fluido Inteligência de Negócios Eduardo de Rezende Francisco José Luiz Kugler 14

15 Implicações do Big Data Manuseio de bases de dados muito amplas, que impõem significativas dificuldades logísticas em termos de computação e análise. Exige a expansão das fronteiras da competência analítica da empresa, quanto a obter, armazenar e analisar as informações necessárias para conduzir as suas operações, reduzir riscos e atender seu mercado de forma efetiva. Fonte: Forrester Reseach, 2014 Inteligência de Negócios Eduardo de Rezende Francisco José Luiz Kugler 15

16 Implicações do Big Data expansão da competência analítica quanto a conduzir as suas operações, reduzir riscos e atender seu mercado de forma efetiva. Fonte: Forrester Reseach, 2014 Inteligência de Negócios Eduardo de Rezende Francisco José Luiz Kugler 16

17 Análise do Big Data Fonte: Bernard Barr, 2015 Inteligência de Negócios Eduardo de Rezende Francisco José Luiz Kugler 17

18

19 E o small data?

20 E o small data?

21

22

23

24

25

26 4 Portanto, o segredo está na análise...

27

28 Fonte: TDWI, 2014

29 Fonte: TDWI, 2014

30 A habilidade de organizar e analisar os dados influencia a nossa visão do mundo... Análise Dados Decisão Ação

31 A habilidade de organizar e analisar os dados influencia a nossa visão do mundo... Análise Dados Perguntas Críticas de Negócio Decisão Ação

32 Data Engineering Data Engineering Bases de Dados Mundo real Perguntas Críticas de Negócio Ação Análise e Decisão

33 Data Science Bases de Dados Mundo real Perguntas Críticas de Negócio Data Science Ação Análise e Decisão

34 DE + DS = Business Analytics = Data Engineering Data Science Coleta de Dados Data Architecture Data Blending Data Modeling Modelos Estatísticos Matemáticos Computacionais Visuais

35

36 5 Alguns cuidados

37 Mitos do Big Data O Big Data permite detectar correlações sutis, que dificilmente seriam percebidas nos meios tradicionais, mas... Não diz quais correlações são significantes... ou seja, quais modelos são estúpidos ou não!

38 Mitos do Big Data Uma enorme parcela do Big Data é resultante da mentalidade copy and pass along... 28% dos quase 600 milhões de tweets gerados todo dia são retweets.* * Fonte: Dataclism, por Christian Rudder. Fourth Estate, 2014.

39 Mitos do Big Data O Big Data incentiva a obtenção de respostas aparentemente científicas para problemas que, na verdade, são insolúveis. Projeto Pantheon, do MIT Media Lab: quais foram os escritores mais importantes da humanidade?

40 1. Homero 2. Shekeaspeare Goethe 20. Nostradamus 24. Leo Tolstoi 32. Cervantes 79. J. R. R. Tolkien 117. João Evangelista 136. Paulo Coelho

41 Competência analítica requer: Boas perguntas Arquitetura analítica Boas ferramentas

42 Fonte: MIT, The Analytics Mandate, 2014

43 Pareto ampliado : 90/10 Devemos dedicar mais tempo e esforço (90%) na modelagem e análise dos dados, a partir das questões críticas A exploração não direcionada dos dados (10%) pode gerar inspirações valiosas, mas não deve ser a principal estratégia de análise* * Não devemos confundir a estratégia com a técnica de análise de dados; as técnicas não supervisionadas podem gerar excelentes resultados, em contextos específicos.

44 6 Tendências

45 Tendências Projetos híbridos, combinando dados tradicionais com big data Basket Analysis e matrizes de afinidade mais precisas Os modelos irão, definitivamente, incorporar componentes e visões que irão bem além dos atributos do produto e da experiência do consumidor

46 Tendências Os modelos vão exigir intenso data blending As etapas de busca, análise e impacto precisam ser aceleradas

47 Tendências Novas modalidades de análise: Data as a Service (DaaS) Auto serviço Terceirização; e Automação da análise

48 7 Resumo da Ópera

49 Organizações inteligentes: (1) sabem usar as ferramentas analíticas; mas, sobretudo, sabem fazer as perguntas certas; (2) investem no desenvolvimento de uma arquitetura analítica robusta; (3) sabem lidar com integração, blending e qualidade dos dados; e (4) valorizam o raciocínio analítico.