O outro lado da moeda nos projetos de Big Data: Benefícios, mitos e desafios José Luiz Kugler FGV - EAESP
https://www.youtube.com/watch?v=hnacf_fnp6e
1 Como chegamos até aqui?
Altamente especializado Caçador imbatível Forte, ágil e veloz Generalista Caçador, extrativista, pescador, agricultor Relativamente fraco e lento
Extinto há 13 mil anos Quase extinto em várias ocasiões, mas
Sobrevivemos graças a: criteriosa observação tentativa e erro amplo networking & trocas tentativa e erro uso eficiente de recursos tentativa e erro recombinação de estratégias e recursos tentativa e erro Inteligência de Negócios Eduardo de Rezende Francisco José Luiz Kugler 6
2 O ambiente competitivo atual
Inteligência de Negócios Eduardo de Rezende Francisco José Luiz Kugler 8
Ambiente competitivo atual Globalização Datificação da sociedade Intensa pressão de custos Consumidores exigentes e impacientes Erosão da lealdade Economia influenciada pelos modelos free & freemium Inteligência de Negócios Eduardo de Rezende Francisco José Luiz Kugler 9
3 Datificação
Quantos dados são gerados a cada minuto? Fonte: http://cdn.visualnews.com/wp- content/uploads/2012/06/domo-data-in-one-minute- 600x953.jpg
A datificação da sociedade
Os 5 Vs do Big Data Fonte: Bernard Marr, 2015
Na prática, isto significa: dados não intermediados por humanos forte teor qualitativo, quando gerados por humanos múltiplas fontes múltiplos stakeholders formato dinâmico e fluido Inteligência de Negócios Eduardo de Rezende Francisco José Luiz Kugler 14
Implicações do Big Data Manuseio de bases de dados muito amplas, que impõem significativas dificuldades logísticas em termos de computação e análise. Exige a expansão das fronteiras da competência analítica da empresa, quanto a obter, armazenar e analisar as informações necessárias para conduzir as suas operações, reduzir riscos e atender seu mercado de forma efetiva. Fonte: Forrester Reseach, 2014 Inteligência de Negócios Eduardo de Rezende Francisco José Luiz Kugler 15
Implicações do Big Data expansão da competência analítica quanto a conduzir as suas operações, reduzir riscos e atender seu mercado de forma efetiva. Fonte: Forrester Reseach, 2014 Inteligência de Negócios Eduardo de Rezende Francisco José Luiz Kugler 16
Análise do Big Data Fonte: Bernard Barr, 2015 Inteligência de Negócios Eduardo de Rezende Francisco José Luiz Kugler 17
E o small data?
E o small data?
4 Portanto, o segredo está na análise...
Fonte: TDWI, 2014
Fonte: TDWI, 2014
A habilidade de organizar e analisar os dados influencia a nossa visão do mundo... Análise Dados Decisão Ação
A habilidade de organizar e analisar os dados influencia a nossa visão do mundo... Análise Dados Perguntas Críticas de Negócio Decisão Ação
Data Engineering Data Engineering Bases de Dados Mundo real Perguntas Críticas de Negócio Ação Análise e Decisão
Data Science Bases de Dados Mundo real Perguntas Críticas de Negócio Data Science Ação Análise e Decisão
DE + DS = Business Analytics = Data Engineering Data Science Coleta de Dados Data Architecture Data Blending Data Modeling Modelos Estatísticos Matemáticos Computacionais Visuais
5 Alguns cuidados
Mitos do Big Data O Big Data permite detectar correlações sutis, que dificilmente seriam percebidas nos meios tradicionais, mas... Não diz quais correlações são significantes... ou seja, quais modelos são estúpidos ou não!
Mitos do Big Data Uma enorme parcela do Big Data é resultante da mentalidade copy and pass along... 28% dos quase 600 milhões de tweets gerados todo dia são retweets.* * Fonte: Dataclism, por Christian Rudder. Fourth Estate, 2014.
Mitos do Big Data O Big Data incentiva a obtenção de respostas aparentemente científicas para problemas que, na verdade, são insolúveis. Projeto Pantheon, do MIT Media Lab: quais foram os escritores mais importantes da humanidade?
1. Homero 2. Shekeaspeare... 8. Goethe 20. Nostradamus 24. Leo Tolstoi 32. Cervantes 79. J. R. R. Tolkien 117. João Evangelista 136. Paulo Coelho
Competência analítica requer: Boas perguntas Arquitetura analítica Boas ferramentas
Fonte: MIT, The Analytics Mandate, 2014
Pareto ampliado : 90/10 Devemos dedicar mais tempo e esforço (90%) na modelagem e análise dos dados, a partir das questões críticas A exploração não direcionada dos dados (10%) pode gerar inspirações valiosas, mas não deve ser a principal estratégia de análise* * Não devemos confundir a estratégia com a técnica de análise de dados; as técnicas não supervisionadas podem gerar excelentes resultados, em contextos específicos.
6 Tendências
Tendências Projetos híbridos, combinando dados tradicionais com big data Basket Analysis e matrizes de afinidade mais precisas Os modelos irão, definitivamente, incorporar componentes e visões que irão bem além dos atributos do produto e da experiência do consumidor
Tendências Os modelos vão exigir intenso data blending As etapas de busca, análise e impacto precisam ser aceleradas
Tendências Novas modalidades de análise: Data as a Service (DaaS) Auto serviço Terceirização; e Automação da análise
7 Resumo da Ópera
Organizações inteligentes: (1) sabem usar as ferramentas analíticas; mas, sobretudo, sabem fazer as perguntas certas; (2) investem no desenvolvimento de uma arquitetura analítica robusta; (3) sabem lidar com integração, blending e qualidade dos dados; e (4) valorizam o raciocínio analítico.