Treinamento em Apache Spark com Scala - Fundamental

Transcrição

1 Treinamento em Apache Spark com Scala - Fundamental O treinamento fundamental em Apache Spark prepara profissionais para o mercado de trabalho com Spark e Programação em Scala. Seu conteúdo programático foi desenvolvido para que profissionais possam implementar soluções de Big Data em suas corporações. O mesmo abrange, conceitos, conhecimentos de uso dos softwares, interação programática e atividades práticas. {tabs type=sliders} {tab title=disponibilidade e Calendário do Treinamento} Somente in Company. Solicite Orçamento 1 / 9

2 {/tab} {tab title=treinamentos in-company} Capacite toda sua equipe, realizamos treinamentos In-company em todo o Brasil. Os treinamentos in-company permitem um investimento único para uma equipe de até 12 pessoas. Investimento: Solicitar proposta comercial. {/tab} {tab title=formas de Pagamento} - Depósito Bancário. - Boleto. - Nota de empenho para orgãos públicos. - Em até 18 vezes com cartão de créditos via PagSeguro* *Os juros do parcelamento são calculados de acordo com seu cartão de crédito, cada cartão tem quantidade de parcelamento diferenciado. {/tab} 2 / 9

3 {/tabs} Objetivos. Ministrar as principais características do Apache Spark e as Características da Linguagem Scala. O funcionamento e instalação do Spark, conceitos básicos de execução do programa escrito em Scala. Público alvo do treinamento. Gestores de TI, Cientistas de Dados, Analistas de Business Intelligence, Engenheiros da Computação. {tab=conteúdo Programático} Conceitual Big Data e Spark 1. O que é Big Data? 2. O Profissional cientista de dados. 3. Visão geral do Spark 4. Características do Spark 5. Sistema distribuído. 3 / 9

4 6. Ecosistema Spark 7. Quem usa o Spark 8. Cases do uso Spark 9. Uso de Hadware comum. 10. Overview do Spark em cluster 11. Batch X Real Time - Big Data Analytics Introdução a Scala 1. O que é Scala? 2. Apresentando Scala 3. Instalando Scala 4. Journey - Java para Scala 5. First Dive - Interactive Scala 6. Escrevendo scripts Scala - Compilando Programas Scala 7. Basico em Scala 8. Tipos Básicos Scala 9. Definindo Funções 10. IDE para Scala 11. Scala Community Essencial em Scala 1. Imutabilidade em Scala - Semicolons 2. Declaração método 3. Literais 4. Listas 5. Tuplas 6. Opções 7. Maps 8. Palavras reservadas 9. Operadores 10. Regras de precedência 11. If Statements 12. Scala Para Compreensão 13. While Loops, Do-While Loops 14. Operadores condicionais 15. Pattern Matching 16. Enumerações Traits e OOPs em Scala 4 / 9

5 1. Traits Intro - Traits as Mixins 2. Stackable Traits 3. Criando Traits e OOPS - Classes and Objetos Básicos 4. Construtores Scala 5. Nested Classes 6. Visibility Rules Programação Funcional em Scala 1. O que é programação funcional? 2. Literais funcionais e Closures 3. Recursão 4. Tail Calls 5. Estruturas de Dados Funcionais 6. Parâmetros das Funções implícitas 7. Chamada por nome 8. Chamada por Valor. Instalação Spark 1. Instalando o Spark 2. Modos do Spark 3. Standalone Cluster Primeiros Passos em Spark 1. Invocando Spark Shell 2. Criando o Contexto Spark 3. Carregando um arquivo no Shell 4. Realizando algumas operações básicas em arquivos em Spark Shell 5. Construindo um Projeto com sbt 6. Executando o Projecto Spark com sbt 7. Caching Overview, Persistência Distribuído 8. Spark Streaming Overview 9. Exemplo: Streaming Word Count. 5 / 9

6 RDDS 1. Transformações no RDD 2. Ações em RDD 3. Carregando dados em RDD 4. Salvando dados através RDD 5. Key-Value Pair RDD 6. MapReduce e Operações RDD Pair 7. Integração Scala e Hadoop 8. Arquivos de seqüência 9. Usando Partitioner e seu impacto na melhoria do desempenho. Spark com SQL e Hive 1. Arquitetura Analyze Hive 2. Arquitetura Spark SQL 3. Analyze Spark SQL 4. Context em Spark SQL 5. Integrando Hive e Spark SQL Spark e Pentaho 1. Overview Suite Pentaho 2. Pentaho data Integration 3. Orquestrando Spark com Pentaho Data Integration 4. Data Visualization 6 / 9

7 {tab=pré-requisitos} - Conhecimento de Servidor Linux e TCPIP, conhecimento de alguma linguagem de programação e Lógica de Programação. {tab=requisitos} Alunos - Todos os participantes devem trazer um notebook para realizar as atividades práticas. - O Computador deve estar com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet. - Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho. Requisitos mínimos de hardware - Memória RAM : 6GB - Espaço em Disco: 10GB - Processador: Dual-core AMD 64, EM64T - Sistemas Operacionais : Linux( de preferência baseados em Debian), Windows, MacOS. - VirtualBox. Obs. Equipamentos com menos que 6GB podem passar por lentidão nas atividades de uso de maquinas virtuais simultâneas no treinamento. {tab=carga Horária} 32 Horas de Duração 7 / 9

8 100% Presencial {tab=material e Metodologia} Material Serão disponibilizados os seguintes materiais aos alunos do treinamento: - Todos os softwares Spark e Scala e acessórios na sua última versão estável. - Material próprio em Português do Brasil. - Apresentações ( slides do treinamento ) desenvolvidas pela equipe Ambiente Livre. - Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre. - Apostilas com exercícios práticos desenvolvidos no treinamento. - Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial. - Caneta, Pasta e Bloco de Anotações. Metodologia - Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas. {/tabs} 8 / 9

9 9 / 9