Estudo de implementação de um cluster utilizando apache hadoop. Giovanni Furlanetto

Transcrição

1 Estudo de implementação de um cluster utilizando apache hadoop Giovanni Furlanetto

2 Sumário Introdução Metodologia de Pesquisa Revisão Bibliográfica Resultados Conclusão Referências

3 Introdução Considerando o crescimento de dados na internet alguns serviços e sistemas não oferecem a disponibilidade de um gerenciamento de dados adequado. Uma solução proposta é a utilização da ferramenta Apache Hadoop, é uma aplicação econômica de código aberto, de alto desempenho que utiliza o conceito de sistemas distribuídos, a Google é um exemplo segundo Augusto (2010, p.7) Indiscutivelmente, o Google é o principal e o maior serviço de busca da Internet, com cerca de 14 bilhões de paginas Web indexadas. Além de números expressivos, o Google se destaca por ter publicado uma serie de trabalhos sobre sua infraestrutura interna e sistemas, em especial sobre sua estrutura inicial[...] O Apache Hadoop é uma aplicação que oferece alguns serviços e os dois principais são MapReduce responsável pelo processamento distribuído e o Hadoop Distributed File System (HDFS) para armazenamento também em forma distribuída. Com o intuito de aprofundar o conhecimento sobre a ferramenta foi estipulado o objetivo de realizar a instalação e utilização da aplicação Apache Hadoop. Este trabalho está organizado em capítulos, onde no primeiro capitulo é descrito de forma sucinta o contexto e objetivo do trabalho, no segundo capitulo é referenciado as metodologias de pesquisa utilizada, no terceiro capitulo é feita uma revisão para a fundamentação da pesquisa, no quarto capitulo é descrito os resultados obtidos e quinto capitulo a conclusão do trabalho.

4 Metodologia de Pesquisa Foi utilizado conteúdos da internet, livros e artigos de periódicos, de natureza pura e com uma abordagem qualitativa com o intuito de aprofundar o conhecimento sobre a ferramenta Apache Hadoop. Foram utilizados computadores do Instituto Federal de Educação, Ciências, e Tecnologia de São Paulo no Campus de Presidente Epitácio para realizar testes da aplicação Hadoop, primeiramente utilizando testes de processamento e depois armazenamento.

5 Revisão Bibliográfica A Google tem um sistema muito robusto para pesquisas com uma alta variedade de paginas segundo Augusto(2010, p.23): Poucos ousariam negar que o Google é o maior sistema de busca da atualidade. Seu buscador indexa e armazena alguns bilhões de páginas, praticamente toda a superfície da Web (mas apenas uma pequena parte da Web profunda, mais difícil de se obter por depender de acesso privado ou por não ser referenciada por outras páginas). Em menos de 10 anos, o Google deixou de ser um projeto universitário para se tornar em um negócio de mais de US$150 bilhões de dólares e um dos alicerces da Internet. Dessa forma, por mais que a equipe do Google esporadicamente publique artigos descrevendo o funcionamento do seu buscador, sempre devemos considerar que não estamos

6 Revisão Bibliográfica lidando com versões completas dessas soluções, afinal esse é o grande mapa da mina. Se na primeira versão em 1998 as buscas demoravam entre 1 e 10 segundos, hoje em dia é difícil elas ultrapassarem alguns décimos de segundos. A aplicação do Apache Hadoop utiliza os conceitos de um sistema distribuído igual no sistema da Google com alguns milhares nós de processamento que fazem toda diferença para uma empresa. Grandes empresas da web já utilizam o conceito de sistemas distribuídos segundo Silva(2011, p.1) Grandes sistemas, como Google, Facebook, Twitter entre outros, possuem bases de dados na ordem de petabytes. A solução utilizada para manter a escalabilidade destes sistemas é o processamento distribuído de dados em larga escala.

7 Resultados É econômico sendo uma aplicação open source, confiável, o que o torna perfeito para rodar aplicações com grande volume de dados em um conjunto de computadores, o seu desempenho de armazenamento é capaz de trabalhar com petabytes com facilidade, A aplicação trabalha utilizando o conceito de sistemas distribuídos e muito eficiente para processamento e armazenamento de grandes dados, tornando uma ferramenta viável para utilização para processamento e armazenamento de grandes dados.

8 Conclusão Apesar de existirem várias formas de realizar atividades de grande porte o apache hadoop não se faz pequeno pra essa questão tendo como auxiliar os usuários que necessitam de grande processamento. Atualmente está sendo muito utilizado para processamentos gráficos e armazenamentos de grande porte servidores distribuídos e farm render (sitio de renderização).

9 Referências AUGUSTO L.D.C; Arquitetura e implementação de um sistema distribuído de recuperação de informação. São Paulo, Fevereiro de Disponível em:< Acesso em 2 set GHEMAWAT S., GOBIOFF H., LEUNG S.; Artigos relevantes de Sistemas Distribuídos relacionados à Cloud Computing Disponível em: < Acesso em 4 set GOLDMAN A., KON F., JUNIOR F.P., POLATO I., PEREIRA R.F.; Apache Hadoop: conceitos teóricos e práticos, evolução e novas possibilidades Disponível em:< Acesso em 2 set SILVA A. B.; Apache Hadoop Disponível em:< Acesso em 15 nov