Big Data. A Nova Onda

Transcrição

1 Big Data A Nova Onda

2

3 Ricardo Rezende 18 anos em TI; 12 anos como DBA Oracle; Infrastructure Accenture Enkitec Group; Oracle Certified Professional; IBM Certified Database Associate; Mestrando em Ciência da Computação - UNICAMP; Pós Graduando MBA Gestão de Projetos; 105+ artigos e 15+ vídeo-aulas SQL Magazine; Docente FIAP

4

5 O crescimento dos dados From the dawn of civilization until 2003, humankind generated five exabytes of data. Now we produce five exabytes every two days and the pace is accelerating. Eric Schmidt, Executive Chairman, Google Fonte:

6 O crescimento dos dados 1GB de dados armazenados podem gerar 1PB de dados trafegados; A quantidade total de dados dobra a cada 2 anos, ou seja: 130EB em 2005; 1,19ZB em 2010; 7,72ZB em 2015.

7 Tipos de Dados Atividades em geral: músicas e livros on-line, Smart Phones, navegadores, lojas on-line; Conversas: gravadas digitalmente, chats, posts, tweets; Fotos e vídeos: câmeras digitais ou Smart Phones, Facebook, YouTube, Instagran, etc.; Sensores: GPS, acelerômetro, etc.; IOT: Smart TVs, Wearables, geladeiras J

8 Classificação dos dados Dados Estruturados; Dados Não Estruturados; Dados Semi-Estruturados.

9 Classificação dos dados Dados Não-Estruturados: gerenciados fora de BD Relacional. Dados Estruturados: gerenciados dentro de BD Relacional.

10 5 Vs do Big Data Uma boa maneira de entender Big Data é através dos 5 Vs: Variety (Variedade)

11 5 Vs do Big Data We currently only see the beginnings of a transformation into a big data economy. Any business that doesn t seriously consider the implications of Big Data runs the risk of being left behind. Bernand Marr

12 As 4 camadas do Big Data Camada de Saída de Dados (Data Output Layer) Camada de Processamento / Análise de Dados (Data Processing / Analysis Layer) Camada de Armazenamento de Dados (Data Storage Layer) Camada de Fonte de Dados (Data Source Layer)

13 BDs não Relacionais - NoSQL

14 BDs não Relacionais - NoSQL

15 BDs não Relacionais - NoSQL BDs orientado a Chave/Valor (Key/Value Store): Implementação mais básica de BDs NoSQL; Correspondência entre chaves e valores, como num dicionário; Não há estrutura ou relacionamento; Ex: Redis, Riak, Memcached, MemcacheDB, etc.

16 BDs não Relacionais - NoSQL BDs orientado a Colunas (Column Store): Avança no conceito Chave/Valor; Não necessita de estrutura de tabela; É basicamente um array bi-dimensional onde cada chave possui um ou mais pares de chave(s)/valor(es); Ex: Cassandra, HBase, etc.

17 BDs não Relacionais - NoSQL BDs orientado a Documento (Document Store): Similar ao Column Store, mas permite mais aninhamentos; Qualquer estrutura pode se tornar um documento; Ex: CouchBase, CouchDB, MongoDB, etc.

18 BDs não Relacionais - NoSQL BDs orientado a Grafos (Graph Store): O tipo mais interessante de BDs NoSQL; Utiliza estrutura tipo árvore, com nós e arestas conectando-se através de relacionamentos; Ex: OrientDB, Neo4J, etc.

19 BDs não Relacionais - NoSQL Como diria a grande filósofa Sharon Acioly: Ado, ado, ado Cada um no seu quadrado!!! J

20 BDs não Relacionais - NoSQL Chave-Valor Tamanho dos Dados Baseado em Coluna Documento Grafos Relacional Complexidade dos Dados

21 Hadoop Framework open source escrito em Java; Permite o processamento distribuído de grandes volumes de dados; Utiliza um modelo de programação simples; Ambiente de armazenamento distribuído e computação em cluster;

22 Hadoop: Componentes

23 Hadoop: Map-Reduce

24 Apache Spark Sistema de computação em cluster rápido e de propósito geral; Estende o modelo Map/Reduce; Quebra o paradígma da estrutura linear do Map/Reduce (map -> shuffle -> reduce); NÃO é uma versão modificada do Hadoop.

25 Operações Iterativas Map-Reduce Spark

26 Operações INterativas Map-Reduce Spark

27 Dúvidas?

28 Agradecimentos Aos organizadores do evento; Parceiros; Aos presentes; Minha esposa e filhas. ;)

29 @ricarezende