HadoopDB. Edson Ie Serviço Federal de Processamento de Dados - SERPRO

Transcrição

1 HadoopDB Edson Ie Serviço Federal de Processamento de Dados - SERPRO

2 Motivação Grandes massas de dados precisam ser processadas em clusters: 1 nó: 100TB@59MB/s = 23 dias Cluster com 1000 nós 33 min!!! Necessidades: Confiabilidade Transparência Facilidade de uso Tolerância à falhas Open source 2

3 Paralell Databases Parallel Databases são como databases singlenode exceto: Dados são particionados pelos nós Operações relacionais individuais podem ser executadas em paralelo. 3

4 Paralell Databases Não existem implementações free/open source $$$$ Tolerância a falhas?? 4

5 MapReduce MapReduce é um modelo de programação que especifica: Uma função (map function) que processa um par chave/valor (key/value) para gerar um conjunto de pares intermediários, Uma função (reduce function) que junta todos os valores intermediáios com a mesma chave intermediária. 5

6 . 6

7 Hadoop Commodity Hardware Cluster Distributed File System (HDFS) Modeled on GFS Distributed Processing Framework Using the Map-Reduce paradigm Open Source, Java Apache Lucene subproject 7

8 Powered by... Amazon/A9 process millions of sessions daily for analytics node clusters Facebook Reporting/analytics and machine learning 320 machine cluster with 2,560 cores and about 1.3 PB raw storage Google University Initiative to Address Internet-Scale Computing Challenges IBM Blue Cloud Computing Clusters Yahoo! >15000 computer nodes Used to support research for Ad Systems and Web Search Also used to do scaling tests to support development of Hadoopon larger clusters Last.fm 8

9 Exemplo Considere um enorme massa de dados de registros de vendas, cada um consistindo das seguintes informações: 1 data da venda 2 preço 9

10 Exemplo usando Hadoop Query: Calcular o total de vendas de cada ano. Escreve-se um programa MapReduce: Map: Pegamos os registros de vendas e extraímos o par chave/valor com o ano e o preço de venda. Reduce: Simplesmente soma todos os valores para cada ano. 10

11 11

12 Exemplo Suponha que os dados estejam armazenados num banco de dados relacional. O exemplo do registro de vendas pode ser expresso em SQL: SELECT YEAR(date) AS year, SUM(price) FROM sales GROUP BY year 12

13 Exemplo Questão: Como podemos processar isso eficientemente se a base de dados é muito grande? 13

14 Paralell Databases SELECT YEAR(date) AS year, SUM(price) FROM sales GROUP BY year Plano de execução para a query: projection(year,price)! partial hash aggregation(year,price)! partitioning(year)! final aggregation(year,price). 14

15 Comparativo 15

16 Comparativo 16

17 17

18 18

19 19

20 Hive Hive converts as queries SQL em jobs MapReduce usando arquivos HDFS 1 Derives schema of files from an internal catalog 2 Parses, plans, optimizes the SQL query into a relational operator DAG 3 Breaks down plan into series of Map / Reduce task with interleaving re-partition operators 20

21 SQL MR - SQL 21

22 Comparação Comparando HadoopDB com Hadoop e com Parallel databases: 1 Performance: Esperamos que o HadoopDB se aproxime da performance das Parallel Databases 2 Escalabilidade: Esperamos que o HadoopDB escale tão bem quanto o Hadoop. Tolerância a falhas e flutuações. 22

23 Benchmarks Stage Amazon EC2 cloud, clusters of 10, 50, 100 machines 2 Characters Hadoop HadoopDB Vertica DB-X Plot Pavlo et al. SIGMOD benchmark of large-scale analytical queries derived from processing web-data 20+ GB/node 3 DB-X results reproduced from Pavlo et al

24 Benchmarks 24

25 Benchmarks 25

26 Benchmarks 26

27 Tolerância a falhas 27

28 Referências Página do HadoopDb na Universidade de Yale: HadoopDB: An Architectural Hybrid of MapReduce and DBMS Technologies for Analytical Workloads. Azza Abouzeid, Kamil Bajda-Pawlikowski, Daniel J. Abadi, Avi Silberschatz, Alex Rasin. In Proceedings of VLDB, Apresentação - VLDB 2009 : Apresentação - Hadoop World: NYC 2009: %20%20-% %20Kamil%20Bajda-Pawlikowski, %20HadoopDB_NYC.pdf 28

29 Instalação Requisitos: # JavaTM 1.6.x # Hadoop # PostgreSQL instalado em cada nó do cluster O Hadoop pode ser conseguido em um dos espelhos de download do Apache. Veja em As instruções estão na página: 29