Computação Intensiva em Dados

Transcrição

1 Computação Intensiva em Dados 31/03/2014 1/49

2 Versões dos Slides v.4.0 Pedro de Botelho Marcos 2012/2 André Luís Tibola 2013/1 Iván Marcelo Carrera 2013/1 Julio C. S dos Anjos 2013/2 Julio C. S dos Anjos 2014/1 2/49

3 Para pensar... Visão Geral Dividir cada uma das dificuldades que eu examinasse em tantas parcelas possíveis e que fossem necessárias para melhor resolvê-las. René Descartes, O Discurso do Método /49

4 Objetivos Visão Geral Apresentar o e o Motivar para o TF Apresentar o grupo /GPPD Motivar para pesquisa 4/49

5 Contexto Computação Intensiva em Dados Onde existe? Onde pode ser aplicado? 5/49

6 Contexto Computação Intensiva em Dados 5/49

7 Contexto Computação Intensiva em Dados 5/49

8 Contexto Computação Intensiva em Dados 5/49

9 Contexto Computação Intensiva em Dados 5/49

10 Contexto Computação Intensiva em Dados 5/49

11 Outline Visão Geral 1 Visão Geral /49

12 Visão Geral Data-Intensive Computing Classe de aplicações que são I/O bound; Tipicamente Terabytes ou Petabytes de dados; Podem ser também CPU bound além de I/O bound; Parte do tempo de execução é utilizado para movimentar dados; Abordagem preferencial read-once execute-many; 7/49

13 Dimensão de BigData [Stonebraker, Madden e Dubey 2013], < 8/49

14 Processamento Intensivo em Dados Principais Iniciativas de Processamento Intensivo em Dados [Dean e Ghemawat 2010],[Beckman et al. 2010],[Ananthanarayanan et al. 2013],[Carvalho et al. 2013] 9/49

15 Outline Visão Geral 1 Visão Geral /49

16 Outline Visão Geral 1 Visão Geral /49

17 Introdução Visão Geral Criado pela Google em 2004; Processamento de grandes volumes de dados; Originalmente desenvolvido para clusters homogêneos; Utiliza um Sistema de Arquivos Distribuídos; Framework lida com o escalonamento de tarefas, tolerância a falhas e distribuição dos dados; Usuário tem apenas que programar função de Map e de Reduce. 12/49

18 Modelo do Fluxo de Execução do 13/49

19 Exemplo de Execução do (WordCount) Funcionamento do 14/49

20 Escalonamento e Tratamento de Falhas Escalonamento Tarefas: Escalonamento baseado em localidade (Map); Task-Assign por heartbeat; Tarefas especulativas para melhorar o desempenho; Tolerância a falhas: Tratamento de falhas: Slaves; Tarefas; Tarefas backup, lançamento de tarefas remotas; Replicação de Dados (DFS); 15/49

21 Tipos de aplicações Algoritmos de manipulação de dados em geral; Encadeamento de transformações sobre dados; Embarrassingly parallel problems: É possível eliminar a etapa de Reduce; Data mining, processamento de imagem/vídeo, cálculos estatísticos, ordenamento, pesquisa, geração de índices, etc. 16/49

22 Kit Benchmark Visão Geral Kit Benchmark MRBS: Desenvolvido pelo grupo ERODS do LIG (Grenoble, França): Tipos de Aplicações: Recommendation Systems; Business Intelligence; Bioninformatics; Text processing; Data mining; 17/49

23 Limitações Visão Geral Nem todo algoritmo pode ser expresso através do modelo ; Não há tratamento de dependência entre tarefas da mesma fase; Pode ser custoso manipular pequenas quantidades de dados. 18/49

24 Exemplos Visão Geral Grep def map ( document, t e x t ) : for l i n e in t e x t : i f l i n e. search ( palavra ) : emit ( document, l i n e ) Por documentos def map ( document, t e x t ) : i f t e x t. search ( palavra ) : emit ( document, t r u e ) 19/49

25 Exemplos Visão Geral Índice invertido def map ( document, t e x t ) : for palavra in t e x t : emit ( palavra, document ) def reduce ( palavra, documents [ ] ) : emit ( palavra, j o i n ( documents [ ] ) ) 20/49

26 Outline Visão Geral 1 Visão Geral /49

27 Visão geral Visão Geral Implementação aberta do ; Desenvolvido pela Apache Software Foundation; Utiliza o HDFS como Sistema de Arquivos Distribuído; Java; Streaming. 22/49

28 Configuração Visão Geral Pré-requisitos: Linux (ambientes de produção); Java 1.6. Modos de funcionamento: Local; Pseudo-distribuído; Distribuído; Cloud Computing. 23/49

29 Configuração XML Propriedade Default mapred.map.tasks 2 mapred.reduce.tasks 1 mapred.tasktracker.map.tasks.maximum 2 mapred.tasktracker.reduce.tasks.maximum 2 mapred.map.tasks.speculative.execution true mapred.reduce.tasks.speculative.execution true dfs.replication 3 24/49

30 Outline Visão Geral 1 Visão Geral /49

31 Introdução Visão Geral Simulador para o modelo ; Baseado no SimGrid; Permite implementar e testar novos algoritmos: Escalonamento; Distribuição dos dados de entrada; Distribuição das chaves de reduce. [Kolberg et al. 2013] 26/49

32 Arquitetura Visão Geral User input/code Platform Topology (XML file) Alternative Scheduler Algorithm Alternative Data Distribution Algorithm Deploy (XML file) Job Specification DFS JobTracker Speculative Execution TaskTracker Map Reduce SimGrid Network CPU Arquitetura do 27/49

33 Arquivo de plataforma <?xml version= 1.0?> <!DOCTYPE p l a t f o r m SYSTEM " h t t p : / / simgrid. gforge. i n r i a. f r / simgrid. dtd " > < p l a t f o r m version= " 3 " > <AS i d = "AS0" r o u t i n g = " F u l l "> <host i d = " Host 0 " power= " " core= "2" / > <host i d = " Host 1 " power= " " core= "2" / > < l i n k i d = " l 1 " bandwidth= " " latency = "1e 4" / > < route src=" Host 0 " dst=" Host 1 "> < l i n k _ c t n i d = " l 1 " / > < / route> < route src=" Host 1 " dst=" Host 0 "> < l i n k _ c t n i d = " l 1 " / > < / route> < /AS> < / p l a t f o r m > 28/49

34 Arquivo de deploy <?xml version= 1.0?> <!DOCTYPE p l a t f o r m SYSTEM " h t t p : / / simgrid. gforge. i n r i a. f r / simgrid. dtd " > < p l a t f o r m version= " 3 " > <process host= " Host 0 " function= " master " / > <process host= " Host 1 " function= " worker " / > < / p l a t f o r m > 29/49

35 Arquivo de configuração do job master " Host 0" reduces 100 chunk_ size 64 input_chunks 100 d f s _ r e p l i c a s 3 map_ slots 2 reduce_slots 2 30/49

36 Exemplo API - Custo das tarefas function task_ cost ( phase, task_ id, worker_ id ) i f phase == MAP: r e t u r n ( rand (50, 100) + i o _ c o s t ( ) ) i f phase == REDUCE: r e t u r n ( i o _ c o s t ( ) ) end function 31/49

37 Exemplo API - Distribuição dos dados function dfs ( dfs_matrix, chunks, workers, r e p l i c a s ) for each c in chunks : for each r in r e p l i c a s : w = choose_worker ( ) d f s _ m a t r i x [ c ] [ w] = 1 end function 32/49

38 Exemplo API - Data skew function data_skew ( map_id, reduce_id ) i f ( reduce_id % 2) == 0: r e t u r n 1024 else r e t u r n 2048 end function 33/49

39 Outline Visão Geral 1 Visão Geral /49

40 Membros Visão Geral Julio Anjos - Doutorado; Wagner Kolberg - Mestrado; André Tibola - Mestrado; Iván Carrera - Mestrado; Maycon Bordin - Mestrado; Alexandre Miyazaki - T.G. Simulador melhorias ; Junior Barros - Bolsista IC - projeto Bio Informática; João Gross - T.G. Compilação Heterogêneo; Pedro Marin - T.G. - Simulação Turbiditos - Petróleo; Trabalhos Concluídos: Julio Anjos - Mestrado (concluído); Pedro Marcos - Mestrado (concluído); Flávio Alles - T.G. (concluído); Bruno Reckziegel Filho - T.G. (concluído). 35/49

41 Heterogeneidade Visão Geral Problema: supõe que o ambiente de execução seja homogêneo, resultando em desempenho abaixo do esperado em ambientes heterogêneos, por exemplo, desktop grids; Objetivo: Adaptar os algoritmos de distribuição de dados e escalonamento; Situação: Finalizado, implementado no ; Membros: Julio, Alexandre. 36/49

42 Tolerância a falhas Problema: utiliza uma arquitetura master/slave, propiciando dois pontos de falha única, o master e o namenode; Objetivo: Modelo descentralizado para evitar os pontos de falha única; Situação: Finalizado, protótipo implementado; Membros: Pedro Marcos. 37/49

43 Verificação de Resultados Problema: Em computação voluntária é necessário verificar o resultado dos voluntários, a maioria das técnicas onera o servidor; Objetivo: Desenvolver técnica com baixa carga para o servidor e resistente a conluio; Situação: Em andamento; Membros: André. 38/49

44 Volatilidade Visão Geral Problema: Execução em ambientes com volatilidade, por exemplo, computação voluntária, pode ser inviável devido aos custos de replicação dos dados e re-escalonamento de tarefas; Objetivo: Adicionar novos componentes na arquitetura para garantir disponibilidade dos dados; Situação: Fase final; Membros: Wagner. 39/49

45 Escalonamento para ambientes Voláteis Problema: Escalonador não adaptado ao ambiente volátil; Objetivo: Adicionar novos componentes na arquitetura para criar escalonador dinâmico com predição estatística; Situação: Em andamento; Membros: Julio. 40/49

46 Provisionamento de recursos Problema: É difícil especificar o tipo e a quantidade de instâncias para uma determinada run; Objetivo: Desenvolver uma expressão para o tempo de execução de aplicativos MR e sugerir instâncias; Situação: Em andamento; Membros: Iván. 41/49

47 Green Computing Problema: Escalonador original do preocupa-se apenas com o tempo de execução; Objetivo: Implementar um novo escalonador para o que siga políticas green; Situação: Em andamento; Membros: Flávio, Wagner. 42/49

48 Aplicações de Bio-Informática com Problema: Aplicações dedicadas ao sequenciamento genético tem baixo desempenho sobre ; Objetivo: Desenvolver aplicações para notação de patologias com mapeamento genético; Situação: Finalizado protótipo criado sobre o, analisando diversas bases genéticas; Membros: Bruno, Junior 43/49

49 Sugestões de Trabalho Final Desenvolvimento de aplicações com o ; Testes com o na Grid 5000 Testes com o no ; Calcular o speed-up de uma app ; Implementar, no, algoritmos para ambientes heterogêneos; Implementar outros sistemas intensivos em dados como o Swift e comparar aplicações; 44/49

50 Sugestões de Trabalho Final Testar falhas no e no cluster; Testes de desempenho utilizando DB; *Testes do benchmark MRBS; Otimizar programas ; *Testes em nuvens públicas; *Comparação de soluções MR as a service (AzureMR, Cloudera, Elastic MR). 45/49

51 Sugestões de Trabalho Final - Detalhado Comparar o desempenho e funcionalidades de sistemas intensivos em dados.tempo estimado de trabalho: 20 dias Objetivo: Instalar o Symphony, para comparar com o. Avaliar pelo menos 3 das seguintes implementações nas plataformas como, por exemplo: - Criar aplicação worcount texto de 8 GB, 64GB, 128 GB e 256GB; - Criar aplicação que faça uma busca de similaridade entre pedaços de um DNA coletado (será fornecido o arquivo e programa) usando bases de dados do DNA públicas diferentes; - Criar aplicação que analise o índice reverso (arquivos fornecidos pelo grupo MapaReduce); - Criar aplicação livre que faça o cálculo para uma figura de Mandelbrot. 46/49

52 Sugestões de Trabalho Final - Detalhado Avaliação de desempenho em ambiente heterogêneo. Tempo estimado de trabalho: 10 dias Objetivo: Executar simulações com o MRA++ alterando a banda e a latência de rede (necessário pequenos ajustes no código). Comparar os resultados obtidos com o. - O aluno deverá avaliar três tipos de cargas de trabalho e usar a banda de rede de 1 Mbps, 5 Mbps, 10 Mbps, 100 Mbps e 1 Gbps em cada carga. - As plataformas das máquinas devem ter configurações heterogêneas e variar de 32, 64, 128, 256, 512 e 1024 nós. - O sistema tem um gerador de plataforma próprio para esta finalidade e deve utilizar pelo menos 2 distribuições de máquinas diferentes como log-normal e Weibull (seguindo especificações pré definidas). 47/49

53 Computação Intensiva em Dados 31/03/ /49

54 Bibliografia I Visão Geral ANANTHANARAYANAN, R. et al. Photon: fault-tolerant and scalable joining of continuous data streams. In: Proceedings of the 2013 ACM SIGMOD International Conference on Management of Data. New York, NY, USA: ACM, (SIGMOD 13), p ISBN Disponível em: < US DEPARTMENT OF ENERGY, OFFICE OF SCIENCE. SWIFT - Scalable Parallel Scripting for Scientific Computing, v. 17 de Spring 2010, (Spring 2010, v. 17). IOP Publishing, p. ISSN Disponível em: < Análise e caracterização das novas ferramentas para computação distribuída na nuvem, (WSCAD - WIC 2013). ISSN DEAN, J.; GHEMAWAT, S. - A Flexible Data Processing Tool. Communications of the ACM, ACM, New York, NY, USA, v. 53, n. 1, p , ISSN KOLBERG, W. et al. - A simulator over SimGrid. Parallel Comput., Elsevier Science Publishers B. V., Amsterdam, The Netherlands, The Netherlands, v. 39, n. 4-5, p , abr ISSN Disponível em: < STONEBRAKER, M.; MADDEN, S.; DUBEY, P. Intel "Big Data"Science and Technology Center Vision and Execution Plan. SIGMOD Rec., ACM, New York, NY, USA, v. 42, n. 1, p , maio ISSN Disponível em: < 49/49