AVALIAÇÃO DE DESEMPENHO DE PROCESSAMENTO DISTRIBUÍDO EM LARGA ESCALA COM HADOOP

Tamanho: px

Começar a partir da página:

Download "AVALIAÇÃO DE DESEMPENHO DE PROCESSAMENTO DISTRIBUÍDO EM LARGA ESCALA COM HADOOP"

Danilo Flores
5 Há anos
Visualizações:

1 AVALIAÇÃO DE DESEMPENHO DE PROCESSAMENTO DISTRIBUÍDO EM LARGA ESCALA COM HADOOP Débora Stefani Lima de Souza Orientador: Dr. Paulo Romero Martins Maciel

3 INTRODUÇÃO Nem sempre os dados vão ser estruturados: Dados semi-estruturados e/ou não estruturados. Sistema são construídos a partir de diferentes linguagens de programação e geram arquivos com diferentes formatos! Duas questões são cruciais: Como armazenar, manipular e analisar uma grande quantidade de dados? Como fazer a análise desse dados no menor tempo possível?

4 MAPREDUCE 4

5 HADOOP Estrutura que permite o processamento distribuído de uma grande quantidade de um conjunto de dados através de clusters usando simples modelos de programação. Apache Hadoop page (2017) 5

6 HADOOP O que é o Hadoop? Cluster (commodity hardware), ou grid ou nuvem + Processamento paralelo em larga escala + Armazenamento de dados distribuído + Replicação de dados + Alto desempenho + Tolerância a falhas + Programação simples e descomplicada = 6

7 HADOOP Quem utiliza? 7

8 HADOOP ALGUMAS CARACTERÍSTICAS Vantagens Foco na regra do negócio! Permite adicionar/remover máquinas sem que seja necessário alterar seu código fonte. Dados são divididos entre os nós. Mover a computação para onde os dados estão. Dificuldades O nó mestre é o único ponto de falha. Processamento de arquivos pequenos. Dependência entre dados. 8

9 HADOOP FORMAÇÃO Formado basicamente por: Common + HDFS (Hadoop Distributed File System) + Yarn + MapReduce Contudo, há vários projetos relacionados ao Hadoop, entre eles: Cassandra Pig Hbase Hive 9

10 HADOOP FUNCIONAMENTO 10

11 PESQUISA Objetivos Avaliar o desempenho de processamento distribuído em larga escala utilizando Hadoop. Propor formas de auxiliar o Hadoop a alcançar Para tanto... Construir três ferramentas: Mamute avaliar o desempenho do sistema. Marfim avaliar o sistema na ocorrência de falhas. Mastodonte auxiliar o Hadoop para aprimorar o desempenho. 11

12 ESTRUTURA DE TESTE Intel Core I3 4GB - RAM Intel Core I3 4GB - RAM Intel Core I3 2GB - RAM Master No1 Intel Core I5 4GB - RAM Intel Core I7 4GB - RAM No2 No3 Intel Core 2 Quad 4GB - RAM No4 Client 12

13 CENÁRIOS Cenário 1: Experimentos com arquivo de 5GB executado repetidamente em sequência. Cenário 2: Experimentos com arquivo de 5GB executado repetidamente em paralelo. Cenário 3: Experimentos com arquivos de 30GB executado repetidamente em sequência. Cenário 4: Experimentos com arquivos de 30GB executado repetidamente em paralelo. 13

14 RESULTADOS MAMUTE Cenário 1: Número de amostras: 119 Tempo total de execução: 14,77hs Média: 446,95 Desvio padrão: 221,83 Observação: No 2 ativo 14

15 RESULTADOS MAMUTE Cenário 2 Número de amostras: 119 Tempo total de execução: 9,26hs Observação: no 2 ativo. 15

16 RESULTADOS MAMUTE Cenário 3 Número de amostras: 42 Tempo total de execução: 10hs Média: 857,19 Desvio padrão: 6,64 Observação: O nó 2 já estava em definitivo na blacklist 16

17 RESULTADOS MAMUTE Cenário 4 Número de amostras: 42 Tempo total de execução: 10,97hs Média: 875,31 Desvio padrão: 22,85 Observação: O nó 2 já estava em definitivo na blacklist 17

18 PRÓXIMOS PASSOS Atualizar o Mamute para incluir uma nova funcionalidade. Possibilidade de realizar experimento específicos para a necessidade da empresa. Concluir o Marfim Implementar o Mastodonte 18

19 AVALIAÇÃO DE DESEMPENHO DE PROCESSAMENTO DISTRIBUÍDO EM LARGA ESCALA COM HADOOP Débora Stefani Lima de Souza Orientador: Dr. Paulo Romero Martins Maciel

Documentos relacionados

Avaliação de desempenho e dependabilidade de processamento de dados em larga escala com Hadoop

Avaliação de desempenho e dependabilidade de processamento de dados em larga escala com Hadoop Débora Stefani Lima de Souza dsls@cin.ufpe.br Orientador: Paulo Romero Martins Maciel prmm@cin.ufpe.br Dados,