O que é preciso para ser Cientista de Dados?

Transcrição

1 O que é preciso para ser Cientista de Dados?

2 Cássio Socal Cervo Administração de Empresas - PUCRS Ciências Contábeis - PUCRS MBA Gerenciamento de Projetos - FGV/Decision MBA Big Data e Analytics - FGVSP (em andamento) 18 anos de experiência em TI Gerente de Sistemas de BI e Modelagem no Sicredi Integrante do grupo de coordenadores do GUBI na SUCESU RS (Grupo de Usuários de Business Intelligence)

3

4

5 IBM 305 RAMAC Disk System Ele foi lançado em 1956 como parte do IBM 305 RAMAC, um computador desenvolvido pela IBM para o mercado corporativo, e podia armazenar impressionantes 5 MB em 50 discos com 24 polegadas (60 cm) de diâmetro.

6 IBM 305 RAMAC 1956

7

8

9 25 PETABYTES por dia

10

11 25 PETABYTES por dia

12

13 1,6 GBytes > 300

14

15

16 1,6 GBytes >50 aviões

17

18

19 Cenário Atual é complexo e com muitos dados

20 Cenário Atual é complexo e com muitos dados muitos muitos muitos muitos muitos muitos muitos muitos

21

22 Big Data Big Data é o termo que descreve o imenso volume de dados estruturados e não estruturados que impactam os negócios no dia a dia. Definição da SAS

23 Big Data 3Vs Big Data é o termo que descreve o imenso volume de dados estruturados e não estruturados que impactam os negócios no dia a dia. Definição da SAS

27 Big Data 3Vs Big Data é o termo que descreve o imenso volume de dados estruturados e não estruturados que impactam os negócios no dia a dia. Definição da SAS 4V???

28 Big Data 3Vs Big Data é o termo que descreve o imenso volume de dados estruturados e não estruturados que impactam os negócios no dia a dia. Definição da SAS 5V 4V???

29 Big Data 3Vs Big Data é o termo que descreve o imenso volume de dados estruturados e não estruturados que impactam os negócios no dia a dia. Definição da SAS 5V 4V???

30 Big Data Big Data é o termo que descreve o imenso volume de dados estruturados e não estruturados que P: Quem/como extrair valor de um 3Vs impactam os negócios no dia a dia. Definição da SAS Big Data? 5V 4V???

31 Big Data Big Data é o termo que descreve o imenso volume de dados estruturados e não estruturados que P: Quem/como extrair valor de um 3Vs impactam os negócios no dia a dia. Definição da SAS Big Data? 5V R: Cientista de Dados 4V???

32 Cientista de Dados Uma nova geração de especialistas analíticos que têm as habilidades técnicas para resolver problemas complexos e a curiosidade de explorar quais são os problemas que precisam ser resolvidos. Definição da SAS

33 Cientista de Dados Funções típicas dos cientistas de dados Uma nova geração de especialistas analíticos que têm as habilidades técnicas para resolver problemas complexos e a curiosidade de explorar quais são os problemas que precisam ser resolvidos. Definição da SAS Trabalhar grandes quantidades de dados, buscado padrões e tendências, para solucionar problemas de negócio

34 Cientista de Dados Funções típicas dos cientistas de dados Uma nova geração de especialistas analíticos que têm as habilidades técnicas para resolver problemas complexos e a curiosidade de explorar quais são os problemas que precisam ser resolvidos. Definição da SAS Trabalhar grandes quantidades de dados, buscado padrões e tendências, para solucionar problemas de negócio Conhecer o negócio e comunicar-se com toda a empresa

35 Cientista de Dados Funções típicas dos cientistas de dados Uma nova geração de especialistas analíticos que têm as habilidades técnicas para resolver problemas complexos e a curiosidade de explorar quais são os problemas que precisam ser resolvidos. Definição da SAS Trabalhar grandes quantidades de dados, buscado padrões e tendências, para solucionar problemas de negócio Conhecer o negócio e comunicar-se com toda a empresa Trabalhar com uma variedade de linguagens de programação e ferramentas tecnológicas, mantendo-se a par das técnicas analíticas como machine learning, text analytics, etc.

36 Cientista de Dados Funções típicas dos cientistas de dados Uma nova geração de especialistas analíticos que têm as habilidades técnicas para resolver problemas complexos e a curiosidade de explorar quais são os problemas que precisam ser resolvidos. Definição da SAS Trabalhar grandes quantidades de dados, buscado padrões e tendências, para solucionar problemas de negócio Conhecer o negócio e comunicar-se com toda a empresa Trabalhar com uma variedade de linguagens de programação e ferramentas tecnológicas, mantendo-se a par das técnicas analíticas como machine learning, text analytics, etc. Ter uma sólida compreensão de estatísticas, incluindo testes estatísticos e distribuições.

37 Cientista de Dados Descritivo Diagnóstico Preditivo Prescritivo O que aconteceu? Por que aconteceu? O que irá acontecer? Como podemos fazer isso acontecer? Atuação do Cientista de Dados

38 Cientista de Dados Descritivo Diagnóstico Preditivo Prescritivo O que aconteceu? Por que aconteceu? O que irá acontecer? Como podemos fazer isso acontecer? Atuação do Cientista de Dados Técnologia Negócio

39 Cientista de Dados

41 O que é preciso para ser Cientista de Dados? O que é preciso para ser Cientista de Dados?

43 Estatística Inferência Estatística Séries Temporais Geoanálise e Estatística Espacial

44 Estatística Inferência Estatística é um conjunto de técnicas que objetiva estudar uma população através de evidências fornecidas por uma amostra. Inferência Estatística Séries Temporais Geoanálise e Estatística Espacial Estatística básica (Variância, Desvio Padrão, Média, Moda, Mediana,...) Diagrama de Dispersão Regra empírica Distribuição Qui-Quadrado Tipos de testes de hipóteses Regressão linear simples Regressão linear multipla Analise de resíduos

45 Estatística Uma série temporal é um conjunto de observações ordenadas no tempo, não necessariamente igualmente espaçadas, que apresentam dependência serial, isto é, dependência entre instantes de tempo. Inferência Estatística Séries Temporais Geoanálise e Estatística Espacial Procedimentos estatísticos de previsão Análise de autocorrelação Redes neurais na previsão de séries temporais Estacionariedade de uma série Avaliação do desempenho das previsões

46 Estatística O objetivo das técnicas de Análise Espacial é descrever os padrões existentes nos dados espaciais e estabelecer, preferencialmente de forma quantitativa, os relacionamentos entre as diferentes variáveis geográficas. Inferência Estatística Séries Temporais Geoanálise e Estatística Espacial Análise Espacial e Geoprocessamento Análise de Eventos Pontuais Análise de Superfícies por Geoestatística Linear Análise de Superfícies por Geoestatística Indicadora Análise de Dados de Área

48 Tecnologia Bancos de Dados Modelagem de dados Programação Ferramenta de Visualização Machine Learning Big Data

49 Tecnologia Bancos de Dados Modelagem de dados Programação Ferramenta de Visualização Funcionamento dos bancos de dados mais comuns (Oracle, SQL Server, Postgree, MySQL, Teradata,...) Banco de dados colunares Banco de dados in memory Estrutura de Data Warehouse Banco de Dados nosql (MongoDB, Cassandra) Machine Learning Big Data

50 Tecnologia Bancos de Dados Modelagem de dados Programação Ferramenta de Visualização Machine Learning Big Data Modelos conceitual Modelos Lógico Modelos Físicos Modelagem Multidimensional (Star Schema, Snow Flake ) Atributos Relacionamentos Data Mining Versionamento Historização Expurgo de dados

51 Tecnologia Bancos de Dados Modelagem de dados Programação Ferramenta de Visualização Machine Learning Lógica de Programação R (R studio) Python SQL Dplyr SAS Java C, C++, C# Big Data

52 T ecnologia Bancos de Dados Modelagem de dados Programação Ferramenta de Visualização Machine Learning GGPlot Tableau QlikView Pentaho Excel Power Pivot Microstrategy Oracle IBM Outros Big Data

53 T ecnologia Bancos de Dados Modelagem de dados Programação Ferramenta de Visualização Machine Learning Big Data Redes Neurais Artificiais (RNAs) Inteligência artificial Internet das Coisas (IoT) IBM Watson Analytics

54 T ecnologia Bancos de Dados Modelagem de dados Programação Ferramenta de Visualização Machine Learning Big Data Hadoop Spark MapReduce Appliance de BI

56 Negócio Análise Setorial Análise Financeira Análise Mercadológica Pessoas Decisões Empresariais e Raciocínio Analítico

57 N egócio Análise Setorial Análise Financeira Análise Mercadológica Conhecer o setor Macroeconomia e Cenário político Leis e Normas Conhecer a cadeia produtiva Produtos, serviços e tecnologias Ciclo de vida setorial Pessoas Decisões Empresariais e Raciocínio Analítico

58 N egócio Análise Setorial Análise Financeira Análise Mercadológica Pessoas Decisões Empresariais e Raciocínio Analítico Estrutura de Capital das empresas CMV Controladoria Gerencial Gestão de Custos Margem de contribuição dos produtos Alavancagem financeira Mercado de Capitais Matemática Financeira

59 Negócio Análise Setorial Análise Financeira Análise Mercadológica Pessoas Decisões Empresariais e Raciocínio Analítico Segmentação Os produtos e o mercado Pontos de vendas Perfil dos meus consumidores Análise SWOT Preços Campanhas publicitárias Direcionadores Estratégicos

60 Negócio Análise Setorial Análise Financeira Análise Mercadológica Pessoas Decisões Empresariais e Raciocínio Analítico User Experience Praxeologia* Psicologia do consumo Gestão de Pessoas nas empresas

61 Negócio Análise Setorial Análise Financeira Análise Mercadológica Pessoas Decisões Empresariais e Raciocínio Analítico Teoria dos Jogos Teoria de jogos combinatórios Teoria das Restrições Processo decisórios nas organizações

62 O que é preciso para ser Cientista de Dados?

64 Landscape Big Data 2016

65

66 Cientista de Dados Ter Brio

67

68

69 Obrigado * *Para quem não entende Binário Cássio Socal Cervo [email protected]