Benjamin Bengfort Jenny Kim

Transcrição

1 Benjamin Bengfort Jenny Kim Novatec

2 Authorized Portuguese translation of the English edition of Data Analytics with Hadoop, ISBN Benjamin Bengfort, Jenny Kim. This translation is published and sold by permission of O'Reilly Media, Inc., the owner of all rights to publish and sell the same. Tradução em português autorizada da edição em inglês da obra Data Analytics with Hadoop, ISBN Benjamin Bengfort, Jenny Kim. Esta tradução é publicada e vendida com a permissão da O'Reilly Media, Inc., detentora de todos os direitos para publicação e venda desta obra. Novatec Editora Ltda Todos os direitos reservados e protegidos pela Lei de 19/02/1998. É proibida a reprodução desta obra, mesmo parcial, por qualquer processo, sem prévia autorização, por escrito, do autor e da Editora. Editor: Rubens Prates PY Tradução: Lúcia A. Kinoshita Revisão gramatical: Smirna Cavalheiro Editoração eletrônica: Carolina Kuwabata ISBN: Histórico de impressões: Setembro/2016 Primeira edição Novatec Editora Ltda. Rua Luís Antônio dos Santos São Paulo, SP Brasil Tel.: novatec@novatec.com.br Site: Twitter: twitter.com/novateceditora Facebook: facebook.com/novatec LinkedIn: linkedin.com/in/novatec

3 Sumário Prefácio... 9 Parte I Introdução à computação distribuída Capítulo 1 A era do produto de dados...22 O que é um produto de dados? Desenvolvendo produtos de dados em escala com o Hadoop Tirando proveito de conjuntos grandes de dados...26 Hadoop para produtos de dados...27 O pipeline de ciência de dados e o ecossistema do Hadoop...29 Fluxos de trabalho para big data...30 Conclusão...32 Capítulo 2 Um sistema operacional para big data...33 Conceitos básicos...34 Arquitetura do Hadoop...36 Um cluster Hadoop...38 HDFS...41 YARN Trabalhando com um sistema de arquivos distribuído Operações básicas no sistema de arquivos...45 Permissões de arquivos no HDFS...48 Outras interfaces do HDFS...49 Trabalhando com computação distribuída...50 MapReduce: um modelo de programação funcional...51 MapReduce: implementado em um cluster...54 Além de um mapeamento e uma redução: encadeamento de jobs...62 Submetendo um job MapReduce ao YARN Conclusão

4 6 Analítica de dados com Hadoop Capítulo 3 Um framework para Python e Hadoop Streaming...68 Hadoop Streaming...69 Processamento de dados CSV com o Streaming...73 Executando jobs de Streaming...78 Um framework para MapReduce com Python...81 Contando bigramas...85 Outros frameworks...89 MapReduce avançado...91 Combinadores...91 Particionadores...92 Encadeamento de jobs...93 Conclusão...98 Capítulo 4 Processamento em memória com o Spark...99 Básico sobre o Spark A pilha do Spark Conjuntos de dados distribuídos resilientes Programando com RDDs Spark interativo usando PySpark Escrevendo aplicações Spark Visualizando atrasos das companhias aéreas com o Spark Conclusão Capítulo 5 Análise distribuída e padrões Processando com chaves Chaves compostas Padrões para espaço de chaves Pares versus faixas Padrões de projeto Sumarização Indexação Filtragem Em direção à analítica final Adequando um modelo Validando modelos Conclusão...172

5 Sumário 7 Parte II Fluxos de trabalho e ferramentas para ciência de big data Capítulo 6 Mineração de dados e armazém de dados Consultas de dados estruturados com o Hive A interface de linha de comando (CLI) do Hive Hive Query Language (HQL) Análise de dados com o Hive HBase Bancos de dados NoSQL e orientados a colunas Analítica em tempo real com o HBase Conclusão Capítulo 7 Ingestão de dados Importando dados relacionais com o Sqoop Importando do MySQL para o HDFS Importando do MySQL para o Hive Importando do MySQL para o HBase Ingestão de dados de streaming com o Flume Fluxos de dados do Flume Ingestão de dados de impressão de produtos com o Flume Conclusão Capítulo 8 Analítica com APIs de alto nível Pig Pig Latin Tipos de dados Operadores relacionais Funções definidas pelo usuário Concluindo APIs de nível mais alto do Spark Spark SQL DataFrames Conclusão Capítulo 9 Aprendizado de máquina Aprendizado de máquina escalável com o Spark Filtragem colaborativa Classificação Clustering Conclusão...271

6 8 Analítica de dados com Hadoop Capítulo 10 Resumo: fazendo ciência de dados distribuída Ciclo de vida dos produtos de dados Lagos de dados Ingestão de dados Repositórios de dados para processamento Ciclo de vida do aprendizado de máquina Conclusão Apêndice A Criando um ambiente de desenvolvimento pseudodistribuído com o Hadoop Início rápido Configurando o Linux Criando um usuário Hadoop Configurando o SSH Instalando Java Desabilitando o IPv Instalando o Hadoop Desempacotando Ambiente Configuração do Hadoop Formatando o Namenode Iniciando o Hadoop Reiniciando o Hadoop Apêndice B Instalando os produtos do ecossistema do Hadoop Pacotes de distribuição do Hadoop Instalação dos produtos do ecossistema do Apache Hadoop por conta própria Instalação básica e passos para configuração Configurações específicas do Sqoop Configurações específicas do Hive Configurações específicas do HBase Instalando o Spark Glossário