Alta performance no processamento de Big Data com Spark e Lambda Expressions. Claudio Fabio

Transcrição

1 Alta performance no processamento de Big Data com Spark e Lambda Expressions Claudio Fabio

2 Cláudio Seidi Bacharel em Ciência da Computação - IME/USP Java desde 1998 Arquiteto de Sistemas desde 2001 Certificado Cloudera Atualmente na área de BI da Telefonica/VIVO

3 Fabio Velloso Consultor da Summa Technologies Co-Fundador e Diretor SouJava Bacharel em Ciência da Computação - UFSCar Professor de Arquitetura Orientada a Serviços - UFSCar Projetos com Java desde 1996 Ü Atualmente trabalhando em projetos de Integração, Big Data e Cloud Computing Y Palestrante em JavaOne, Abaporu, TDC, JustJava, Dia de Java, Café Brasil, Campus Party

4 Agenda Contexto Spark Aplicações API Arquiteturas

5 F Big Data - Um Minuto na Internet em horas 4.19 milhões 67 mil 600 mil 450 de conteúdo de buscas uploads de fotos logins uploads enviados 80 mil produtos vendidos 433 mil tweets downloads 3,4 mil uploads de s SectionName Fonte:

6 big data

7 Hadoop Framework open source em Java para processar um grande volume de dados em cluster de hardware commodity

8 F Hadoop Responsável por distribuir e armazenar dados no cluster Responsável pelo Processamento dos dados

9 Hadoop MAP Reduce MAP Worker all 1 for 1 reduce Worker Java for all Java 1 Dados de Entrada MAP Worker Dados de Intermediários reduce Worker Dados de saída Hadoop for all all 1 MAP Worker Hello World Java for 1 Hadoop 1 Hello 1 Java 1 World 1 reduce Worker Hadoop 1 Hello 1 Java 2 World 1 all 2 for 2 Batch

10 Hadoop / Map Reduce MapReduce possibilitou e difundiu o conceito de Big Data analítics Não é eficiente para analises mais complexas e multi-stage: Iterative Machine Learning & graph processing (não map/reduce) Iterative ad-hoc queries & Iterative algorithms Streaming processing

11 Doug Cutting e Spark It s easy to program, and it uses memory more efficiently, as not all intermediate data goes to disk. Over time, fewer projects will use MapReduce, and more will use Spark But it doesn t make MapReduce obsolete overnight

12 SPARK Fast and general engine for large-scale data processing Criado para Machine Learning Distribuído e Data Mining Abstração de alto nível API s em Java, Python e Scala e shell iterativo Mais rápido que Hadoop até 100 vezes?

13 Camadas Aplicações RDD based tables RDD Streams RDD Based Matrices RDD Based Graphs Spark Engine Spark SQL Spark Streaming (real time processing) MLlib (Machine Learning) GraphX (Graph Processing) Java Python Scala e API s Spark Core Resource Management Storage Spark Core Spark Libs

14 Camadas e HFDS Aplicações RDD based tables RDD Streams RDD Based Matrices RDD Based Graphs Spark Engine Spark SQL Spark Streaming (real time processing) MLlib (Machine Learning) GraphX (Graph Processing) Java Python Scala e API s Spark Core YARN HDFS Spark Core Spark Libs Resource/Cluster Manager Storage

15 Camadas Aplicações RDD based tables RDD Streams RDD Based Matrices RDD Based Graphs Spark Engine Spark SQL Spark Streaming (real time processing) MLlib (Machine Learning) GraphX (Graph Processing) Java Python Scala e API s Spark Core Standalone, YARN, Mesos HDFS, Lustre, EC2/S3 Spark Core Spark Libs Resource/Cluster Manager Storage

16 Camadas e conceitos Driver Program SparkContext Cluster Manager Standalone, YARN ou MESOS Worker Node Worker Node Worker Node Worker Node Executor Cache Executor Cache Executor Cache Executor Cache Task Task Task Task Task Task Task Task

17 RDD - Resilient Distributed dataset Unidade básica de dado no Spark Abstração de memória distribuída Coleção de registros para leitura Se particionado é executado em vários nós do cluster Não é replicado, é reconstruído em caso de falha

18 RDD sparqsql.txt RDD Seamlessly mix SQL queries with Spark programs. Spark SQL lets you query structured data as a distributed dataset (RDD) in Spark, with integrated APIs in Python, Scala and Java. This tight integration makes it easy to run SQL queries alongside complex analytic algorithms. Seamlessly mix SQL queries with Spark programs. Spark SQL lets you query structured data as a distributed dataset (RDD) in Spark, with integrated APIs in Python, Scala and Java. This tight integration makes it easy to run SQL queries alongside complex analytic algorithms.

19 RDD Criado através de leitura de um dataset externo Criado através coleções de objetos (List ou Set)

20 Operações RDD Transformações Ações Retorna um novo RDD filter map Retornam valores first count mappedrdd inputrdd map log => data, bytes trafegados [23/Mar/2014:15:08: ], filter log => codret == 304 RDD Seamlessly mix SQL queries with Spark programs. Spark SQL lets you query structured data as a distributed dataset (RDD) in Spark, with integrated APIs in Python, Scala and Java. This tight integration makes it easy to run SQL queries alongside complex analytic algorithms. count filteredrdd # de palavras

21 Operações RDD Transformações map(func), filter(func), flatmap(func), mappartitions(func), mappartitionswithindex(func), sample(withreplacement, fraction, seed), union(otherdataset), intersection(otherdataset), distinct([numtasks])), groupbykey([numtasks]), reducebykey(func, [numtasks]), aggregatebykey(zerovalue), (seqop, combop, [numtasks]), join(otherdataset, [numtasks]), sortbykey([ascending], [numtasks]), cogroup(otherdataset, [numtasks]), cartesian(otherdataset), pipe(command, [envvars]), coalesce(numpartitions), repartition(numpartitions), repartitionandsortwithinpartitions(partitioner)

22 Operações RDD Ações reduce(func), collect(), count(), first(), take(n), takesample(withreplacement, num, [seed]), takeordered(n, [ordering]), saveastextfile(path), *saveassequencefile(path), *saveasobjectfile(path), countbykey(), foreach(func) * (Java e Scala)

23 Spark e java 7 SectionName

24 Lambda Expressions Funções anônimas ou closures Características de programação funcional () -> Programação concorrente e event-driven (ou reactive") Código mais conciso, claro e elegante SectionName

25 Lambda Expressions Uma expressão Lambda é composta de três partes Argument List Arrow Token Body (int x, int y) -> x+y () -> (x, y) -> x+y x -> x*10 (name) -> { System.out.println( Olá + name); } Processamento de coleções SectionName

26 Spark e Lambda Expressions Java 7 Java 8 e Lambda Expression SectionName

27 Spark e Lambda Expressions SectionName

28 Spark e Lambda Expressions scala> val arqtxt = sc.textfile( teste.txt") Shell scala> val palavras = arqtxt.flatmap(line => line.split( \\W")) scala> val contapalavras = palavras.countbyvalue() JaVA

29 SPARK - Alta Performance Processamento em memória e cache de dados Carga e processamento respeitando localidade Micro batch architecture e Stream Directed Acyclic Graph (DAG) engine

30 RDD - Lineage graph textfile() Clientes filter _.(isativo) Clientes Ativos Clientes JOIN Cliente Produto textfile() Produtos JOIN Cliente Consumo Campanha Adequação save() Produtos FILTER Consumo > Franquia Consumo Mensal textfile() Consumo Mensal fillter Consumo 2015 Jan_MAIO REDUCE BY KEY Média Consumo

31 DAG Clientes Clientes Ativos Cliente Produto filter _.(isativo) Produtos Cliente Consumo CampanhA Adequação estágio 1 JOIN save() Consumo Mensal filter Consumo 2015 Jan_MAIO Média Consumo FILTER Consumo > Franquia JOIN estágio 2 REDUCE BY KEY estágio 3

32 \ Mineração de dados Atividade com o objetivo de obter conhecimento Algoritmos de Machine Learning Reconhecimento de Padrões Estatística SectionName

33 Machine Learning Definição Formal - Tom Mitchell (1998) Dizemos que um programa de computador está aprendendo quando: de uma experiência E, a respeito de uma tarefa T e com uma medida de desempenho P, se o seu desempenho em T, medido em P, melhora com a experiência E. T (Tarefa) - fazer gol T E (experiência) - chutar a bola P (Desempenho) - número de gols marcados P E SectionName

34 Machine Learning 29/Maio/2015 SectionName

35 Machine Learning 29/Maio/2015 SectionName

36 Machine Learning Não é ficção Vários serviços/produtos são baseados nesta tecnologia. Facebook: Detecção e Reconhecimento de Faces É capaz de reconhecer até o rosto de um japonês SectionName Amazon: Recomendação de Livros (Collaborative Filter)

37 Machine Learning Supervisionado Não Supervisionado SectionName Fonte:

38 Machine Learning Necessidade de alta performance Dado é acessado iterativamente Spark mais indicado Dados em memória Baixa latência

39 Sistema de recomendação Sistema de Recomendação Ideal Desafios da Vida Real Grande Volume de Dados Único jeito de adivinhar o gosto do cliente X Escalabilidade Diversidade de Clientes e gostos Ataques Shilling attacks

40 Sistema de recomendação Filtro Colaborativo

41 Sistema de recomendação Filtro Colaborativo Usuários similares Recomendação Tipos de Sistema de Recomendação Executado para todos os usuários e a cada nova informação Baseado no Usuário Baseado em Itens

42 Machine learning Por que Spark é indicado para Machine Learning? Logistic regression in Hadoop and Spark SectionName

43 Machine Learning HDFS Read HDFS Write HDFS Read HDFS Write 1 a Iteração 2 a Iteração Input HDFS Read 1 a Iteração 2 a Iteração Input Spark mais performático a cada iteração

44 Machine learning

45 MLLIB Algoritmos e estruturas para Machine Learning Classificação, Collaborative Filtering, Clustering SectionName

46 mllib E MAHOUT SectionName

47 MLLIB Conjunto ainda incompleto de algoritmos SectionName

48 mllib Algoritmos em implementação Redes Neurais SectionName

49 Spark StreAming Receivers batches of input data Micro-batch architecture Streaming em pequenos batches de dados Processar com funções como map, reduce, join

50 Spark StreAm DStream ou discretized stream DStream data from time 0 to 1 data from time 1 to 2 data from time 2 to 3 data from time 3 to 4 Abstração de stream contínuo de dados tempo Sequência de RDDs Intervalo de criação configurável a partir de 500ms log lines DStream fraudes DStream data from time 0 to 1 data from time 0 to 1 data from time 1 to 2 data from time 1 to 2 data from time 2 to 3 data from time 2 to 3 data from time 3 to 4 data from time 3 to 4 Filter detectar fraudes

51 Spark StreAm

52 Spark SQL Módulo para trabalhar com dados estruturados e não estruturados SQL, JDBC e ODBC JSON, Hive, Bancos relacionais via JDBC, Parquet, HDFS, S3 Avro, CSV, ElasticSearch e Cassandra SQLContext e HiveContext DataFrame

53 Spark SQL - DataFrame Coleção de dados distribuídos e organizados em colunas com nomes DataFrame é análogo a uma tabela de um banco relacional. Pode ser construído a partir de arquivos, tabelas e RDDs DataFrame { RDD Cliente Cliente Schema Nome Endereço Telefone Nome Endereço Telefone Cliente Nome Endereço Telefone

54 Spark SQL JDBC

55 Spark SQL

56 Spark e NoSQL Acesso a dados carregados no HDFS Spark SQL Streaming MLib Spark Core GraphX Java Scala Python YARN HDFS NoSQL Conectores Fonte:

57 Spark e NoSQL

58 Arquitetura integrada Fonte de Dados Dados agregados baixa latência Aplicações Online Data Mining e Aplicações Batch Raw Data e Dados Históricos SectionName

59 Arquitetura integrada Dados agregados baixa latência ArduinO Aplicações Online Raspberry Pi Data Mining e Aplicações Batch Intel Galileo RFID SectionName Raw Data e Dados Históricos

60 Conclusão Spark para algoritmos iterativos Usado em conjunto com Hadoop e HDFS Batch em Hadoop Spark Stream, Spark SQL e Spark Graphx SectionName Lambda para código mais conciso

61 Perguntas??

62 Obrigado Claudio Fabio