Big Data e Data Science Admirável Mundo Novo

Transcrição

1 Big Data e Data Science Admirável Mundo Novo Prof. Ms. Petrônio Cândido L. Silva

2 Agenda 1. O que são dados? 2. O que é Big Data? 3. E o poder de processamento? 4. O que é Data Science? 5. E o cientista de Dados? 6. Conclusão!

3 O que são dados?

4 O que são dados? DADOS Simples / Escalar INFORMAÇÃO Combinação de dados CONHECIMENTO Combinação de informações

5 Categorias de Dados Estruturado Semi-Estruturado Estrutura Rígida Estrutura Flexível Atributos Fixos Atributos Variáveis Tamanhos Fixos Tamanhos Variáveis Integriadade e Consistencia Não Estruturado Sem Estrutura

6 Tipos de Dados Estruturados Quantitativo Qualitativo Ordinal Contínuo Cardinal Discreto Nominal Ordinal

7 Categorias de Dados Estruturado Semi-Estruturado Não Estruturado Bancos de Dados Planilhas de Cálculo Texto Tabelas Som Imagem

8 Semântica dos Dados Fonte:

9 Quem? Quanto? Onde? Composição da Informação Quando? Por quê? Como? O quê?

10 O macro processo da informação Sistemas de Produção DADOS Clientes DADOS BD Operacional Funcionários Planejamento Metas Promoções Ofertas Promoções etc CONHECIMENTO INFORMAÇÃO Gerentes DECISÃO Relatórios Cubos Dashboards Data Mining INFORMAÇÃO Data Warehouse

11 Dado Dado Conhecimento Dado Dado Dado Dado Informação Informação

12 Fonte:

13 Tamanho dos Dados Unidade Conversão Bit O que representa 0 ou 1 Byte (B) 8 bits Uma letra Kilobyte (KB) 1024 bytes Um parágrafo de texto Megabyte (MB) 1024 Kb Um livro, uma música de 2 min Gigabyte (GB) 1024 Mb 40 minutos de filme em qualidade de DVD Terabyte (TB) 1024 Gb Três semanas e meia de vídeo de alta qualidade, Petabyte (PB) 1024 Tb??? Exabyte (EB) 1024 Pb??? Zetabyte (ZB) 1024 Eb???

14

15 Custo por Tamanho dos Dados Fonte:

16

17

18 Custo do Armazenamento Hoje Mídia Custo Médio por GB (R$) Pendrive 2,50 SSD 2,60 Disco Rígido 0,37 Cloud 0,03 (mês)

19 Velocidade de comunicação Velocidade 1 Segundo 1 Minuto 1 Hora B 450 B 125 B 7.3 KB 439 KB Megabits por segundo (Mbps) 122 KB 7.3 MB 439 MB Gigabits por segundo (Gbps) 119 MB 6,9 GB 414 GB bits por segundo (bps) Kilobits por segundo (Kbps) Fonte:

20 Velocidade dos Dados Dispositivo Velocidade Segundo Ano Modem 56 K 56 Kbps 6,8 KB 1998 ADSL Até 8 Mbps 976 KB 1999 Cable Modem Até 52 Mbps 6,3 MB 2001 Ethernet 100Mbps 12,5 MB 1995 Gigabit Ethernet 1 Gbps 125 MB 1998 Wireless 108 Mbps 13,5 MB G 384 Kbps 48 KB 2002

21 Custo por Velocidade dos Dados Meio Velocidade Custo Mensal por Mbps Celular 3G 1 Mbps 30,00 ADSL 1 Mbps 44,00 Cabo 1 Mbps 40,00 Fibra 15 Mbps 75,00 Wireless

22 Novas Fontes de Dados

23 Novas Fontes de Dados Por quê? Monitoramento da marca; Monitoramento de campanhas de marketing; Relacionamento com o consumidor; Análise de tendências (trending topics);...

24 Data Explosion O que acontece em 1 minuto na Internet? 4 milhões de buscas no Google 220 mil fotos no Instagram 2,5 milhões de posts no 72 horas de vídeo no Youtube Facebook 300 mil posts no Twitter 50 mil downloads de aplicativos na Apple Store 200 milhões de s Fonte:

25

26

27 Internet das Coisas (IoT) Diversos sensores coletando dados automaticamente; Dados são enviados para a internet e armazenados; Usuário é alertado sobre os dados;

28

29

30

31 Internet das Coisas (IoT) Sensores GPS Climáticos Temperatura Umidade Precipitação Velocidade do Vento Luminosidade Timer Biométricos Pressão Temperatura Corporal BPM Carros

32 Fonte:

33 Dados Abertos (Open Data) Disponibilizar arquivos de dados: Completos Primários Atuais Acessíveis Tratáveis por computador Sem discriminação Sem propriedade Sem licença

34 Dados Abertos (Open Data) Existência Os dados devem estar disponíveis e indexados na web! Aproveitamento Os dados devem estar em formato utilizável por computador! Utilidade Os dados devem estar livres de restrições jurídicas!

35 Dados Abertos Governamentais Lei de Acesso à Informação (LAI)

36 Dados Abertos Científicos

37 Novo cenário Sistemas Emp Governo Dados Social Media Máquinas e sensores , arquivos, etc

38 Novo cenário Todos os dados Formatos diferentes entre si; Gerados em velocidades distintas; Validades diferentes; Relacionados ou não.

39

40

41 Valor e Depreciação Alguns dados sofrem depreciação Têm dada de validade Custo de Oportunidade Depois de coletados e armazenados os dados devem rapidamente serem transformados em informação para ser consumida!

42 Exclusividade Completude Impacto da Informação Novidade Utilidade

43 Visualização da Informação Relatórios Gráficos Indicadores de Desempenho Painéis de Controle (Dashboards) Infográficos e Data Storytelling

44 Business Intelligence Exemplos br/dataset/estado-sao-paulo

45

46 Big Data

47 Big Data Buzzword da moda... Quando o tamanho do dados faz parte do problema! Alta Dimensionalidade Entidades / Atributos / Instâncias

48 Big Data

49 Big Data 4 V's (Stapleton, 2011) Volume Terabytes para Petabytes de dados Velocidade Fluxo contínuo e rápido de novos dados Variedade Dados estruturados, semi e não estruturados Veracidade Governança de dados e qualificação entre Consistente, Inconsistente, Incompleto, Ambíguo,...

50 Fonte:

51 Big Data Fonte:

52 Big Data Exemplos Social Media Web Logs Sensor Networks Cadeias de DNA LHC

53 E o poder de processamento?

54 E o poder de processamento??? Supercomputadores??? $$$ #Fail Multicomputadores!!! $$$ :-)

55 E o poder de processamento??? Multicomputadores Cluster SIMD - Single Instruction Multiple Data Rede Local Grid MIMD - Multiple Instruction Multiple Data Distribuição geográfica

56 E o poder de processamento??? Cluster = Dividir para Conquistar Sharding Sistema de Arquivos Distribuídos Dividir os dados Map/Reduce Processamento Distribuído & Paralelo Dividir o processamento

57 Cluster Vantagens Alto Desempenho Alta Disponibilidade Flexibilidade Custo

58 Sharding Particionamento Horizontal Replicado O total de dados é dividido em vários partes pequenas (shards - cacos); As partes são divididas entre vários computadores Cada parte tem pelo menos 3 cópias em computadores diferentes (segurança)

59 Sharding Master Índice Comp 1 Comp 2 Comp 3 Comp 4 Dados A B Dados C D Dados A C Dados B D Comp N... Dados A D

60 Map/Reduce: Processamento Distribuído Essas tarefas são executadas em duas etapas: Mapeamento Redução

61 Map/Reduce: Processamento Distribuído Etapa de Mapeamento O processamento total é dividido em pequenas tarefas As tarefas são enviadas para os computadores executarem nos dados locais Cada computador envia o resultado para o computador central

62 Master Mapeamento Índice Geren Comp 1 Comp 2 Comp 3 Comp 4 Dados Dados Dados Dados Proc. Proc. Proc. Proc. Comp N... Dados Proc.

63 Map/Reduce: Processamento Distribuído Etapa de Redução O computador central recebe o resultado do processamento dos outro computadores Os resultados individuais são combinados em um resultado único

64 Master Redução Índice Geren Comp 1 Comp 2 Comp 3 Comp 4 Dados Dados Dados Dados Proc. Proc. Proc. Proc. Comp N... Dados Proc.

65 Master Cluster Índice Geren Comp 1 Comp 2 Comp 3 Comp 4 Dados Dados Dados Dados Proc. Proc. Proc. Proc. Comp N... Dados Proc.

66 Até aqui... Tenho muitos dados De muitos tipos Chegando muito rápido Tenho muito poder computacional Muitos discos Muitos processadores E o que eu faço com tudo isso???

67 Data Science

68 Ciência de Dados Objetivo Encontrar PADRÕES e TENDÊNCIAS nos dados; Novos Potencialmente úteis Desenvolver tecnologias a partir dos padrões encontrados.

69 Análise Descritiva Preditiva Padrões Tendências Diagnóstica Prescritiva Causas Ações

70 Álgebra Linear Programação Bancos de Dados Inteligência Computacional Cálculo Design Estatística Data Science Grafos e Redes Otimização Simulação Análise de Negócio Metodologia de Pesquisa Gestão de Projetos

71 Data Science

72 Processos KDD - Knowledge Discovery in Databases (Fayyad, Piatetsky-Shapiro, 1996) SEMMA (SAS, 2000) Sample, Explore, Modify, Model, Assess CRISP/DM (Chapman et al., 2000) CRoss-Industry Standard Process for Data Mining

73 Data Mining (Azevedo, 2008)

74 Pré Processamento Processamento Dados Pós Processam. Problema Aquisição Limpeza Armazenamento Transformação Seleção Modelagem Descritiva Análise Exploratória Hipóteses Modelagem Preditiva Visualização Teste e Experimentação Validação Implantação

75 FONTES Dados Dados Dados Proc. Proc. Proc. Estrut. CLUSTER Semi Estrut. Pré Processamento Processamento Não Estrut. PRODUTOS Pós Processamento

76 Pré Processamento Descritivo Preditivo Regressão Agrupamento Ganho de Informação Redes Bayesianas SVM Correlação Séries Temporais PCA Análise de Redes SVD Recomendação Árvores de Decisão Associação Redes Neurais

77

78 E o cientista de dados?

79 Pessoa que é melhor em estatística do que um engenheiro de software e melhor em engenharia de software do que um estatístico DJ Patil

80

81 Como se tornar um cientista de dados?

82 Conclusão

83 Conclusão Tudo está conectado! Nunca antes tivemos tantos dados, informações e conhecimento sobre tantas coisas; Há um vasto leque de possibilidades latentes...

84 Conclusão Data Science Mais do mesmo ou novidade? Uma nova renascença ou uma onda passageira? Até onde podemos chegar? O que somos capazes de fazer?

85 Efeito Borboleta "Um parafuso mal ajustado na planta de produção de uma fábrica pode causar uma crise econômica mundial?"

86 "Em Deus eu confio. Todos os outros precisam trazer dados" William E. Deming

87 "Dados são o novo petróleo!" William E. Deming

88 Conclusão Intelligence ERP's Logs Arquivos Data Warehouse Big Data Analytics NoSQL Web Social Media DADO INFORMAÇÃO CONHECIMENTO

89 Referências Azevedo, A.; Santos, M.F. KDD, SEMMA, and CRISP-DM: A Parallel Overview. Proceedings of the IADIS European Conference on Data Mining, Amsterdam, 2008, pp Disponível em Acesso em 28/01/2013. Brewer, Eric A.: Towards Robust Distributed Systems. Portland, Oregon, July Keynote at the ACM Symposium on Principles of Distributed Computing (PODC). Disponível em Acesso em 27/01/2013. Chapman, P. et al. CRISP-DM Step-by-step data mining guide Disponível em Acesso em 27/01/2013. Chee, Timothy; Chan, Lee-Kwun et al. Business Intelligence Systems: State-ofthe-art review and contemporary applications. In Symposium on Progress in Information & Communication Technology p Codd, Edgar F.: A Relational Model of Data for Large Shared Data Banks. In: Communications of the ACM 13 (1970), June, No. 6, p

90 Referências Fayyad, U. M. et al. From data mining to knowledge discovery: an overview. In Fayyad, U. M.et al (Eds.), Advances in knowledge discovery and data mining. AAAI Press / The MIT Press. Fayyad, U. and Piatetsky-Shapiro, G. and Smyth, P. The KDD process for extracting useful knowledge from volumes of data. Communications of the ACM v. 39, n. 11, p Inmon, W.H. Building the data warehouse. J. Wiley MacVittie, Lori. The Four V s of Big Data. Disponível em com/blogs/us/the-four-v-rsquos-of-big-data. Acesso em 27/01/2013. Pritchett, Dan. BASE: An ACID alternative. ACM Queue Disponível em Acesso em 27/01/2013. Kimball, R.; Ross, M. et al. The data warehouse toolkit: the complete guide to dimensional modelling. New York: SAS Institute. SAS Enterprise Miner SEMMA. Disponível em com/technologies/analytics/datamining/miner/semma.html. Acessado em 27/01/2013.