Arquiteturas Java Pragmá1cas para usar Big Data na Nuvem. Fabiane Bizinella Nardon Fernando Babadopulos
|
|
- Liliana Minho Bennert
- 8 Há anos
- Visualizações:
Transcrição
1 Arquiteturas Java Pragmá1cas para usar Big Data na Nuvem Fabiane Bizinella Nardon Fernando Babadopulos
2 Nós e Big Data BigDataTailTargetDataScienceMachineLearningHiveHadoopCrunchMongoDBRedisAWS MySQLTailTargetMahoutJavaPlayMavenCityWatchNginxJavaDataScienceTerabytesTail BigDataTailTargetDataScienceMachineLearningHiveHadoopCrunchMongoDBRedisAWS MySQLTailTargetMahoutJavaPlayMavenCityWatchNginxJavaDataScienceTerabytesTail BigDataTailTargetDataScienceMachineLearningHiveHadoopCrunchMongoDBRedisAWS MySQLTailTargetMahoutJavaPlayMavenCityWatchNginxJavaDataScienceTerabytesTail BigDataTailTargetDataScienceMachineLearningHiveHadoopCrunchMongoDBRedisAWS MySQLTailTargetMahoutJavaPlayMavenCityWatchNginxJavaDataScienceTerabytesTail BigDataTailTargetDataScienceMachineLearningHiveHadoopCrunchMongoDBRedisAWS MySQLTailTargetMahoutJavaPlayMavenCityWatchNginxJavaDataScienceTerabytesTail BigDataTailTargetDataScienceMachineLearningHiveHadoopCrunchMongoDBRedisAWS BigDataTailTargetDataScienceMachineLearningHiveHadoopCrunchMongoDBRedisAWS MySQLTailTargetMahoutJavaPlayMavenCityWatchNginxJavaDataScienceTerabytesTail BigDataTailTargetDataScienceMachineLearningHiveHadoopCrunchMongoDBRedisAWS MySQLTailTargetMahoutJavaPlayMavenCityWatchNginxJavaDataScienceTerabytesTail BigDataTailTargetDataScienceMachineLearningHiveHadoopCrunchMongoDBRedisAWS MySQLTailTargetMahoutJavaPlayMavenCityWatchNginxJavaDataScienceTerabytesTail BigDataTailTargetDataScienceMachineLearningHiveHadoopCrunchMongoDBRedisAWS MySQLTailTargetMahoutJavaPlayMavenCityWatchNginxJavaDataScienceTerabytesTail
3 o quão grande é GRANDE?
4 Pig Redis Mahout HDFS HBase Hadoop Hive Cascading Crunch MongoDB MySQL Cassandra
5 Pig Redis Mahout HDFS HBase Hadoop Hive Cascading Crunch MongoDB MySQL Cassandra
6 Big Data + Cloud Aplicações Incríveis!
7
8 Nada tem mais impacto na performance da sua aplicação do que a oqmização do seu próprio código Na nuvem você tem recursos virtualmente ilimitados. Mas o custo também Quando usar tecnologias de Big Data tenha certeza que é Big mesmo
9 Nada tem mais impacto na performance da sua aplicação do que a oqmização do seu próprio código
10 u=0c htp:// u= htp://cnn.com/news u=00ad0e12 - htp:// tailtarget.com 2 cnn.com - 1
11 public sta1c class Map extends Mapper<LongWritable, Text, Text, IntWritable> { private sta1c final IntWritable one = new IntWritable(1); } public void map(longwritable key, Text value, Context context) { String line = value.tostring(); String[] parts = line.split(" "); Text page = new Text(new URL(parts[2]).getHost()); context.write(page, one); } public sta1c class Reduce extends Reducer<Text, IntWritable, Text, IntWritable> { } public void reduce(text key, Iterable<IntWritable> values, Context context){ int count = 0; for (IntWritable value : values) { count = count + value.get(); } context.write(key, new IntWritable(count)); }
12
13
14
15
16 Map HDFS Chunk 1 Record Reader Map Combine Local Storage Chunk 2 Record Reader Map Combine Local Storage Reduce Copy Sort Reduce
17 public sta1c class Reduce extends Reducer<Text, IntWritable, Text, IntWritable> { public void reduce(text key, Iterable<IntWritable> values, Context context) { int count = 0; for (IntWritable value : values) { count = count + value.get(); } context.write(key, new IntWritable(count)); } } job.setmapperclass(mapp.class); job.setcombinerclass(reduce.class); job.setreducerclass(reduce.class); job.setoutputkeyclass(text.class); job.setoutputvalueclass(intwritable.class); job.submit();
18 Naive ImplementaQon Counter Map Reduce Total FILE_BYTES_ WRITTEN 1,913,542, ,106,404 2,869,648,642 Map output materialized bytes Map input records Map output records Combine output records Reduce shuffle bytes Spilled Records CPU 1me spent (ms) Reduce input records Reduce output records 956,063, ,063,008 33,809, ,809,720 33,661, ,661, ,063, ,063,008 67,323,760 33,661, ,985, ,750 78, , ,661,880 33,661, With Combiner Counter Map Reduce Total FILE_BYTES_ WRITTEN 3,674, ,578 4,395,940 Map output materialized bytes Map input records Map output records Combine output records Reduce shuffle bytes Spilled Records CPU 1me spent (ms) Reduce input records Reduce output records 677, ,942 33,809, ,809,720 33,661, ,661,880 74, , , ,942 75,510 22,622 98, ,330 9, , ,622 22,
19 public sta1c class Mapp extends Mapper<LongWritable, Text, Text, IntWritable> { private Map<String, Integer> items = new HashMap<String, Integer>(); public void map(longwritable key, Text value, Context context) { StringTokenizer st = new StringTokenizer(value.toString(), " "); st.nexttoken(); st.nexttoken(); String page = new URL(st.nextToken()).getHost(); Integer count = items.get(page); if (count == null) { items.put(page, 1); } else { items.put(page, count+1); } } } public void cleanup(context context) throws IOExcepQon, InterruptedExcepQon { for (Entry<String, Integer> item : items.entryset()) { context.write(new Text(item.getKey()), new IntWritable(item.getValue())); } }
20
21
22 With Combiner Counter Map Reduce Total FILE_BYTES_ WRITTEN 3,674, ,578 4,395,940 Map output materialized bytes Map input records Map output records Combine output records Reduce shuffle bytes Spilled Records 677, ,942 33,809, ,809,720 33,661, ,661,880 74, , , ,942 75,510 22,622 98,132 OpQmized Counter Map Reduce Total FILE_BYTES_ WRITTEN 2,073, ,288 2,774,750 Map output materialized bytes Map input records Map output records Combine output records Reduce shuffle bytes Spilled Records 657, ,920 33,809, ,809,720 21, , , ,920 21,952 21,952 43,904 CPU 1me spent (ms) 426,330 9, ,260 CPU 1me spent (ms) 270,540 8, ,310 Reduce input records Reduce output records 0 22,622 22, Reduce input records Reduce output records 0 21,952 21,
23 Os gargalos geralmente são causados pela quanqdade de dados que é trafegada na rede
24
25 Garanta tolerância a falhas na sua arquitetura. Se o Map e o Reduce recomeçarem toda hora, você nunca vai terminar o trabalho
26
27 Hadoop/HDFS não funcionam bem com arquivos pequenos. *É big data, lembra?
28 Processing Pipelines u=0c htp:// u= htp://cnn.com/news u=00ad0e12 - htp:// u=0c htp:// u= htp://cnn.com/news u=00ad0e12 - htp:// htp:// htp://cnn.com/news htp:// u=0c Tecnologia u= Nowcias u=00ad0e12 - Tecnologia htp:// - Tecnologia htp://cnn.com/news - Nowcias htp:// - Tecnologia
29 MapReduce Pipelines Orquestrar OQmizar Encadear
30 Exemplo (com Crunch) Pipeline pipeline = new MRPipeline(SiteAndUserClassifier.class, getconf()); RedisSetSource source = new RedisSetSource(Text.class, redismasters); PCollecQon<Text> crawledsites = pipeline.read(source); PTable<String, DNA> classifieditems = crawledsites.paralleldo("classify sites", new SiteClassifier(modelPath, crawledfilesfolder), Writables.tableOf(Writables.strings(), Writables.writables(DNA.class))); PCollecQon<String> logsavedredis = classifieditems.paralleldo("save classified", new SaveSiteToRedis(redisMasters), Writables.strings()); pipeline.writetextfile(logsavedredis, "/tmp/redislog/classifier/redis ); pipeline.done();
31 MapReduce Pipelines u=0c htp:// u= htp://cnn.com/news u=00ad0e12 - htp:// u=0c htp:// u= htp://cnn.com/news u=00ad0e12 - htp:// htp:// htp://cnn.com/news htp:// u=0c Tecnologia u= Nowcias u=00ad0e12 - Tecnologia htp:// - Tecnologia htp://cnn.com/news - Nowcias htp:// - Tecnologia
32 MapReduce Pipelines u=0c htp:// u= htp://cnn.com/news u=00ad0e12 - htp:// u=0c htp:// u= htp://cnn.com/news u=00ad0e12 - htp:// Redis htp:// htp://cnn.com/news 3 htp:// - Tecnologia htp://cnn.com/news - Nowcias 4 u=0c Tecnologia u= Nowcias u=00ad0e12 - Tecnologia 6 Merge 2 4 5
33 Pipeline A: Input: 1 Output: 2, 3, 4 MapReduce Pipelines Pipeline B: Input: 2 Output: 6 u=0c htp:// u= htp://cnn.com/news u=00ad0e12 - htp:// u=0c htp:// u= htp://cnn.com/news u=00ad0e12 - htp:// 2 3 htp:// htp://cnn.com/news u=0c Tecnologia u= Nowcias u=00ad0e12 - Tecnologia 6 htp:// - Tecnologia htp://cnn.com/news - Nowcias 4 Redis
34 Na nuvem você tem recursos virtualmente ilimitados. Mas o custo também.
35 Se você quer fazer mágica, quanto mais flexível o serviço melhor.
36 Amazon EC2 ON- DEMAND RESERVED SPOT $0 $0.32 / hora 2, $1427 $0.104 / hora 2, $0 $0.042 / hora * Custo para uqlizar uma instancia Large durante 1 ano
37 Economia picos de 60 servidores ao longo do dia 40 servidores rodando full Qme (18 spot) On- demand On- demand + Spot 1 ano ( 8,760 horas) USD USD % de economia em 1 ano
38 Escolher bem o Qpo de instância faz toda a diferença Monitorar a variação de preços ao longo do tempo pode trazer informações úteis para as futuras compras
39 Como uqlizar spot instances Escolha máquinas em zonas diferentes UQlize algumas instâncias on- demand Dê preferência a arquiteturas share nothing Lembre- se: Você pode perder o servidor a qualquer momento
40 Auto Scaling como não ficar maluco com isso? #SejaPreguiçoso
41 Execute ações baseadas em dados
42 Monitore seus indicadores
43 UQlize templates para seus servidores WebFront Server Hadoop TaskTracker Back- end Server Auto scaling
44 Deixe seu script decidir o endereçamento dos servidores Scale Up [N] * IPs aleatórios só tornam a administração mais complexa
45 Comprando uma máquina via API AWS Java SDK Collec1on<InstanceNetworkInterfaceSpecifica1on> networkinterfaces; InstanceNetworkInterfaceSpecifica1on networkinterface;.. networkinterface.setdeviceindex(0); networkinterface.setprivateipaddress(" ");.. networkinterfaces.add(networkinterface); specs.setnetworkinterfaces(networkinterfaces);.. client.requestspotinstances(request);
46 Auto Scaling Hadoop UQlize spot instances para os JobTrackers Pré- configure o arquivo conf/slaves com os hosts dos servidores que pretente subir quando precisar escalar
47 Coisas que eu gostaria de saber quando começamos Via API é possível comprar máquinas com IP pré determinado IOPS provisionado nos discos que necessitem mais performance de escrita Dá para fazer mais coisas pela API do que pela interface web
48 Quando usar tecnologias de Big Data tenha certeza que é Big mesmo
49 by Fernando Stankuns COMO SABER SE VOCÊ TEM DADOS GRANDES MESMO: Todos os seus dados não cabem em uma só máquina
50 COMO SABER SE VOCÊ TEM DADOS GRANDES MESMO: Você está falando mais em Terabytes do que em Gigabytes
51 by Saulo Cruz COMO SABER SE VOCÊ TEM DADOS GRANDES MESMO: A quanqdade de dados que você processa cresce constantemente. E deve dobrar no ano que vem.
52 PARA TODO O RESTO: KEEP IT SIMPLE!
53 Arquiteturas Java Pragmá1cas para usar Big Data na Nuvem Fabiane Bizinella Nardon Fernando Babadopulos
Processando Big Data com Java: Receitas para resolver problemas comuns. Fabiane Bizinella Nardon (@fabianenardon)
Processando Big Data com Java: Receitas para resolver problemas comuns Fabiane Bizinella Nardon (@fabianenardon) The best minds of my genera3on are thinking about how to make people click ads. That sucks.
Leia maisMapReduce. Capítulo 2. Renato Gomes Borges Júnior
MapReduce Capítulo 2 Renato Gomes Borges Júnior Sumário Introdução Exemplo: um conjunto de dados climáticos Analisando os dados Map and Reduce Java MapReduce Fluxo de dados Executando MapReduce distribuído
Leia maisProcessamento de Big Data com bancos de dados NoSQL para desenvolvedores Java. Fernando Babadopulos (@babadopulos)
Processamento de Big Data com bancos de dados NoSQL para desenvolvedores Java Fernando Babadopulos (@babadopulos) Eu tenho um Big Data? Ok, tenho um Big Data, e agora? Mas como funciona o hadoop? fapa
Leia maisFuncionamento e Recursos
hadoop_ MapReduce Detalhado MapReduce Detalhado Funcionamento e Recursos Na edição anterior da MundoJ, foi apresentado um artigo introdutório sobre o Hadoop, explicando de forma básica os seus principais
Leia maisFazendo Data Science em Tempo Real. Fabiane Bizinella Nardon @fabianenardon
Fazendo Data Science em Tempo Real Fabiane Bizinella Nardon @fabianenardon BIG DATA + ESTATÍSTICA + = DATA SCIENCE PROGRAMAÇÃO Data Science na era do batch Dados do Passado Processador Batch (Ex: Hadoop)
Leia maisWeather Search System
Weather Search System PROJECTO DE COMPUTAÇÃO EM NUVEM RELATÓRIO Grupo 2 Gonçalo Carito - Nº57701 Bernardo Simões - Nº63503 Guilherme Vale - Nº64029 Índice Weather Search System...1 1. A Solução Implementada...3
Leia maisAgenda. Intro Migrando de relatório para uma solução de BI Under the Hood Operação e Lições aprendidas
Agenda Intro Migrando de relatório para uma solução de BI Under the Hood Operação e Lições aprendidas FALAR da SAMBA FALAR da SAMBA HACKWEEKS Reporting & Analytics No Início - Report Fornecer informações
Leia maisNoSQL como suporte à análise de dados nãonormalizados. volume
NoSQL como suporte à análise de dados nãonormalizados e de grande volume Joel Alexandre Orientador: Professor Luís Cavique Motivação Grande quantidade de registos Tudo é registado Internet of things tudo
Leia maisPERFORMANCE EVALUATION OF A MONGODB AND HADOOP PLATFORM FOR SCIENTIFIC DATA ANALYSIS M.Govindaraju and L. Ramakrishnan
PERFORMANCE EVALUATION OF A MONGODB AND HADOOP PLATFORM FOR SCIENTIFIC DATA ANALYSIS M.Govindaraju and L. Ramakrishnan Alfredo Fernandes / José Fernandes 6. Avaliação Nesta secção é apresentada as avaliações
Leia maisSão Paulo. Maio/2015
São Paulo Maio/2015 Padrões de Arquitetura para Big Data Hélio Silva Sr. Big Data Analytics Consultant Professional Services AWS Summit São Paulo Maio/2015 Henrique Souza Especialista de Cloud e Big Data
Leia maisMinicurso Computação em Nuvem Prática: AWS
Grupo de Pesquisa em Software e Hardware Livre Glauber Cassiano Batista Membro Colméia glauber@colmeia.udesc.br Joinville Minicurso Computação em Nuvem Prática: AWS Roteiro Definições Virtualização Data
Leia maisLab 2 MapReduce e o Console Web
Lab 2 MapReduce e o Console Web Objetivos do Laboratório Neste laboratório você irá praticar o que você aprendeu nesta lição, mais especificamente você ira praticar as operações de MapReduce e aprender
Leia maisBIG DATA: UTILIZANDO A INTERNET PARA TOMADA DE DECISÕES
BIG DATA: UTILIZANDO A INTERNET PARA TOMADA DE DECISÕES Alex Travagin Chatalov¹, Ricardo Ribeiro Rufino ¹ ¹Universidade Paranaense (Unipar) Paranavaí PR Brasil alex_tr1992@hotmail.com ricardo@unipar.br
Leia maisComputação em Nuvem com Openstack
Allan Krueger Glauber C. Batista Charles Christian Miers Membros Colméia Grupo de Pesquisa em Software e Hardware Livre Computação em Nuvem com Openstack Roteiro Geral OpenStack 2 OpenStack 3 Openstack
Leia maisTutorial RMI (Remote Method Invocation) por Alabê Duarte
Tutorial RMI (Remote Method Invocation) por Alabê Duarte Este tutorial explica basicamente como se implementa a API chamada RMI (Remote Method Invocation). O RMI nada mais é que a Invocação de Métodos
Leia maisTutorial de Instalação do CentOS Versão 3.3
Tutorial de Instalação do CentOS Versão 3.3 Jamilson Dantas (jrd@cin.ufpe.br) Maria Clara Bezerra (mcsb@cin.ufpe.br) Rosângela Melo (rmm3@cin.ufpe.br) Recife, outubro de 2013. Finalidade do Tutorial O
Leia maisOpenStack. Cloud Software
OpenStack Cloud Software O que é o OpenStack? Concebido como um SO para a nuvem Todo em código aberto Infraestrutura de nuvem como serviço (IaaS) Nuvens públicas ou privadas Composto por um conjunto de
Leia maisDesenvolvimento de Software no Contexto Big Data
Universidade de Brasília - UnB Faculdade UnB Gama - FGA Engenharia de Software Desenvolvimento de Software no Contexto Big Data Autor: Guilherme de Lima Bernardes Orientador: Prof. Dr. Fernando William
Leia maisManipulação de Banco de Dados com Java. Ms. Bruno Crestani Calegaro (bruno.calegaro@ifsc.edu.br) Maio/ 2015
Manipulação de Banco de Dados com Java Ms. Bruno Crestani Calegaro (bruno.calegaro@ifsc.edu.br) Maio/ 2015 Acesso a um SGBD Em sistemas mais simples o uso de arquivos pode ser usado mas para aplicações
Leia maisARQUITETANDO E EVOLUINDO. um erp para a nuvem
ARQUITETANDO E EVOLUINDO um erp para a nuvem @andremidea @mvlbarcelos @andremidea André Midea Dev focado em Ops na Bluesoft. www.andremidea.com @mvlbarcelos Marcus Barcelos Arquiteto de soluções. Objetivo
Leia maisMinicurso Computação em Nuvem Prática: AWS
Minicurso Computação em Nuvem Prática: AWS Glauber Cassiano Batista Ricardo Sohn Membros Colméia Roteiro Geral Definições Virtualização Data center Computação em Nuvem Principais classificações: Modelos
Leia maisDocumentação Symom. Agente de Monitoração na Plataforma Windows
Documentação Symom de Monitoração na Plataforma Windows Windows Linux Windows Linux Plataforma Windows Instalação A instalação do de Monitoração do Symom para Windows é feita através do executável setup.exe
Leia maisIP significa Internet Protocol. A Internet é uma rede, e assim como ocorre em qualquer tipo de rede, os seus nós (computadores, impressoras, etc.
Endereços IP Endereços IP IP significa Internet Protocol. A Internet é uma rede, e assim como ocorre em qualquer tipo de rede, os seus nós (computadores, impressoras, etc.) precisam ter endereços. Graças
Leia maisServerAdmin servermaster@projetointegrador.com - Se o sistema detectar algo de anômalo, um mail será enviado a bazar@projeointegador.
Fundamentos de Serviços IP Gestão da Tecnologia da Informação Módulo III - Noturno Alunos: Douglas Ferreira João Victor Alves Erik Souza Raphael Beghelli Introdução Neste trabalho acadêmico será apresentando
Leia maisUniversidade Federal de Goiás Ciências da Computação Sistemas Operacionais 2
Universidade Federal de Goiás Ciências da Computação Sistemas Operacionais 2 MongoDB Diego Fraga - 083746 Gabriel Henrique - 083771 Lauro Henrique - 074259 O que é MongoDB? - MongoDB é uma ferramenta de
Leia maisPráticas de Desenvolvimento de Software
Aula 8. 13/04/2015. Práticas de Desenvolvimento de Software Aula 8 - Arquitetura e infraestrutura de aplicações Web. Oferecimento Modelo cliente-servidor (1) Cliente Rede scheme://domain:port/path?query_string#fragment_id
Leia maisCurso Tecnológico de Redes de Computadores 5º período Disciplina: Tecnologia WEB Professor: José Maurício S. Pinheiro V. 2009-2
Curso Tecnológico de Redes de Computadores 5º período Disciplina: Tecnologia WEB Professor: José Maurício S. Pinheiro V. 2009-2 Aula 1 Conceitos da Computação em Nuvem A computação em nuvem ou cloud computing
Leia maisRede de Computadores
Escola de Ciências e Tecnologia UFRN Rede de Computadores Prof. Aquiles Burlamaqui Nélio Cacho Luiz Eduardo Eduardo Aranha ECT1103 INFORMÁTICA FUNDAMENTAL Manter o telefone celular sempre desligado/silencioso
Leia maisOnline Help StruxureWare Data Center Expert
Online Help StruxureWare Data Center Expert Version 7.2.7 Appliance virtual do StruxureWare Data Center Expert O servidor do StruxureWare Data Center Expert 7.2 está agora disponível como um appliance
Leia maisExecutando comandos do Sistema Operacional em uma aplicação WEB Java
Executando comandos do Sistema Operacional em uma aplicação WEB Java Criei uma aplicação muito simples que demonstra como um Servlet pode invocar uma classe que efetua um comando qualquer no sistema operacional.
Leia maisRicardo R. Lecheta. Novatec
Ricardo R. Lecheta Novatec Copyright 2014 da Novatec Editora Ltda. Todos os direitos reservados e protegidos pela Lei 9.610 de 19/02/1998. É proibida a reprodução desta obra, mesmo parcial, por qualquer
Leia maisdok.news 11/2015 www.dokfile.com
dok.news / www.dokfile.com Introdução Caro cliente, a Dok vem crescendo e tem muitas coisas novas para mostrar. Assim, criamos este informativo que será enviado para mostrar as novidades, além de conhecer
Leia maisJSP - ORIENTADO A OBJETOS
JSP Orientação a Objetos... 2 CLASSE:... 2 MÉTODOS:... 2 Método de Retorno... 2 Método de Execução... 2 Tipos de Dados... 3 Boolean... 3 Float... 3 Integer... 4 String... 4 Array... 4 Primeira:... 4 Segunda:...
Leia maisDatabase Cloud Service Database Backup para Oracle Cloud
Database Cloud Service Database Backup para Oracle Cloud Copyright 2014 Oracle Corporation. All Rights Reserved. Oracle Database Backup Service é uma solução segura, escalável e sob demanda para backup
Leia maisProcedimentos e Recursos Técnicos
Procedimentos e Recursos Técnicos Procedimentos e Recursos Técnicos Aprenderemos neste Curso Web alguns procedimentos e recursos técnicos utilizados Para realizar a configuração de sistemas de CFTV. Configurar
Leia maisBenefícios e processos relacionados à migração e servidores dedicados para cloud servers. Juliano Simões. Diretor de Tecnologia
Benefícios e processos relacionados à migração e servidores dedicados para cloud servers Juliano Simões Diretor de Tecnologia Agenda Comparar o modelo de servidor dedicado, orientado ao hardware, com os
Leia maisCriando uma Maquina Virtual EC2
Criando uma Maquina Virtual EC2 Para criar uma instancia sem custo adicional por um período de 1(hum) ano, deve seguir alguns passos que irei descrever abaixo 1. Tendo em vista que você já tenha criado
Leia maisParceiro Oficial de Soluções Proxmox no Brasil
Apresentação Parceiro Oficial de Soluções Proxmox no Brasil A Vantage TI conta uma estrutura completa para atender empresas de todos os segmentos e portes, nacionais e internacionais. Nossos profissionais
Leia maisFaculdade Integrada do Ceará FIC Graduação em Redes de Computadores
Faculdade Integrada do Ceará FIC Graduação em Redes de Computadores Disciplina - Sistemas Distribuídos Prof. Andrey Halysson Lima Barbosa Aula 12 Computação em Nuvem Sumário Introdução Arquitetura Provedores
Leia maisVirtual Hosts. João Medeiros (joao.fatern@gmail.com) 1 / 12
Virtual Hosts João Medeiros (joao.fatern@gmail.com) 1 / 12 Uma pessoa pode ser conhecida por muitos nomes Um servidor WEB também No Apache, cada identidade é identificada pela diretiva Dependendo
Leia maisInfraestrutura: devo usar a nuvem? Prof. Artur Clayton Jovanelli
Infraestrutura: devo usar a nuvem? Prof. Artur Clayton Jovanelli Conceitos principais Nuvem Local Dados (informações) Profissional Pessoal Procedimento padrão (modelo) Produzir Armazenar Como era... Como
Leia maisCurso de Aprendizado Industrial Desenvolvedor WEB
Curso de Aprendizado Industrial Desenvolvedor WEB Disciplina: Programação Orientada a Objetos II Professor: Cheli dos S. Mendes da Costa Modelo Cliente- Servidor Modelo de Aplicação Cliente-servidor Os
Leia maisPROPOSTA COMERCIAL CLOUD SERVER
PROPOSTA COMERCIAL CLOUD SERVER Sobre a AbsamHost A AbsamHost atua no mercado de hosting desde 2008, fornecendo infraestrutura de data center a diversas empresas no Brasil e no mundo. Focada em servidores
Leia maisTransações Seguras em Bancos de Dados (MySQL)
Transações Seguras em Bancos de Dados (MySQL) Índice Entendendo os storage engines do MySQL 5 1 As ferramentas 1 Mais algumas coisas que você deve saber 1 Com a mão na massa 2 Mais ferramentas Usando o
Leia maisProf. Daniela Barreiro Claro
Prof. Daniela Barreiro Claro Volume de dados muito grande Principais problemas em relação aos SGBD Relacionais é conciliar o tipo de modelo com a demanda da escalabilidade. Exemplo -Facebook Um crescimento
Leia maisTutorial. Começando a Criar Aplicativos SMS
Tutorial Começando a Criar Aplicativos SMS Para começar Neste tutorial você vai entender como criar e integrar um aplicativo SMS usando a Brazapp. Para uma melhor compreensão, passaremos por todos os passos:
Leia maisImpactos do Envelhecimento de Software no Desempenho dos Sistemas. Jean Carlos Teixeira de Araujo jcta@cin.ufpe.br
Impactos do Envelhecimento de Software no Desempenho dos Sistemas Jean Carlos Teixeira de Araujo jcta@cin.ufpe.br 1 Agenda Introdução; Software Aging; Software Rejuvenation; Laboratório MoDCS Cloud; Dúvidas?
Leia maisUma Proposta de Framework de Comparação de Provedores de Computação em Nuvem
Uma Proposta de Framework de Comparação de Provedores de Computação em Nuvem Igor G. Haugg Bolsista PIBITI/CNPq Orientador: Dr. Rafael Z. Frantz Área de Pesquisa Integração de Aplicações Empresariais Computação
Leia maisArmazenando grandes quantidades de dados
Armazenando grandes quantidades de dados Universidade Federal de Campina Grande UFCG Centro de Engenharia Elétrica e Informática CEEI Departamento de Sistemas e Computação DSC Disciplina: TECC Analise
Leia maisMinicurso Computação em Nuvem Prática: Openstack
Grupo de Pesquisa em Software e Hardware Livre André Rover de Campos Membro Colméia andreroverc@gmail.com Joinville Minicurso Computação em Nuvem Prática: Openstack Roteiro Definições Virtualização Data
Leia maisDokEC-n 3.3 apresenta : Como conectar em sua ECN Windows.
DokEC-n 3.3 apresenta : Como conectar em sua ECN Windows. Obrigado por adquirir o Dokfile ECN! O Dokfile Elastic Compute Node (ECN) é um serviço que fornece uma capacidade de computação redimensionável
Leia maisCapítulo 4. Programação em ASP
Índice: CAPÍTULO 4. PROGRAMAÇÃO EM ASP...2 4.1 REGISTRAR...2 4.1.1 Códigos para configuração do objeto...2 4.1.2 Formulário para transferir dados da impressão digital...3 4.1.3 Código Javascript para registro
Leia mais1. Quem somos nós? A AGI Soluções nasceu em Belo Horizonte (BH), com a simples missão de entregar serviços de TI de forma rápida e com alta qualidade.
1. Quem somos nós? A AGI Soluções nasceu em Belo Horizonte (BH), com a simples missão de entregar serviços de TI de forma rápida e com alta qualidade. Todos nós da AGI Soluções trabalhamos durante anos
Leia maisArmazenamento em nuvem é feito em serviços que poderão ser acessados de diferentes lugares, a qualquer momento e utilizando diferentes dispositivos,
Nuvem cloud Armazenamento em nuvem é feito em serviços que poderão ser acessados de diferentes lugares, a qualquer momento e utilizando diferentes dispositivos, não havendo necessidade de armazenamento
Leia maisMinicurso Computação em Nuvem Prática: Openstack
Minicurso Computação em Nuvem Prática: Openstack Glauber Cassiano Batista Ricardo Sohn Membros Colméia Roteiro Geral Definições Virtualização Data center Computação em Nuvem Principais classificações:
Leia maisCláusula 1.º Objecto. Cláusula 2.º Especificação da prestação
CADERNO DE ENCARGOS CONTRATAÇÃO DE SERVIÇOS DE PARA A IMPLEMENTAÇÃO DE UM PROJECTO DE ARQUIVO DIGITAL DE INFRA-ESTRUTURAS DE IT O presente Caderno de Encargos compreende as cláusulas a incluir no contrato
Leia maisIntegrações e o ecossistema Java. Fabric8 ao Resgate!
Integrações e o ecossistema Java Fabric8 ao Resgate! Quem sou eu? Leandro O. Gomes blog.leandrogomes.com @leandro_gomes 7 anos de estrada Arquiteto de Software na Owse no Rio de Janeiro Apaixonado por
Leia maisWebWork 2. João Carlos Pinheiro. jcpinheiro@cefet-ma.br
WebWork 2 João Carlos Pinheiro jcpinheiro@cefet-ma.br Versão: 0.5 Última Atualização: Agosto/2005 1 Agenda Introdução WebWork 2 & XWork Actions Views Interceptadores Validação Inversão de Controle (IoC)
Leia mais10 DICAS DE TECNOLOGIA PARA AUMENTAR SUA PRODUTIVIDADE NO TRABALHO
10 DICAS DE TECNOLOGIA PARA AUMENTAR SUA PRODUTIVIDADE NO TRABALHO UMA DAS GRANDES FUNÇÕES DA TECNOLOGIA É A DE FACILITAR A VIDA DO HOMEM, SEJA NA VIDA PESSOAL OU CORPORATIVA. ATRAVÉS DELA, ELE CONSEGUE
Leia maisJava na WEB Servlet. Sumário
1 Java na WEB Servlet Objetivo: Ao final da aula o aluno será capaz de: Utilizar Servlets para gerar páginas web dinâmicas. Utilizar Servlets para selecionar páginas JSPs. Utilizar Servlets como elemento
Leia maisProgramação em LabVIEW Real- Time e LabVIEW FPGA
Programação em LabVIEW Real- Time e LabVIEW FPGA André Pereira Gerente de Marketing Técnico Anderson Takemoto Engenheiro de Campo Arquitetura de E/S reconfigurável (RIO) 3 1 Construindo uma interface de
Leia maisIII WTR do POP-BA III Workshop de Tecnologias de Redes Ponto de Presença da RNP na Bahia Instrutor: Ibirisol Fontes Monitor: Jundaí Abdon.
III WTR do POP-BA III Workshop de Tecnologias de Redes Ponto de Presença da RNP na Bahia Instrutor: Ibirisol Fontes Monitor: Jundaí Abdon Prática 1 Cenário: Na figura acima temos uma pequena rede, que
Leia maisSISTEMAS DISTRIBUÍDOS
SISTEMAS DISTRIBUÍDOS Cluster, Grid e computação em nuvem Slide 8 Nielsen C. Damasceno Introdução Inicialmente, os ambientes distribuídos eram formados através de um cluster. Com o avanço das tecnologias
Leia maisMBA Analytics em Big Data
MBA Analytics em Big Data Inscrições Abertas Início das Aulas: 04/06/2015 Dias e horários das aulas: Segunda-Feira 19h00 às 23h00 Semanal Sexta-Feira 19h00 às 23h00 Semanal Carga horária: 600 Horas Duração:
Leia maisProf. Esp. Lucas Cruz
Prof. Esp. Lucas Cruz O hardware é qualquer tipo de equipamento eletrônico utilizado para processar dados e informações e tem como função principal receber dados de entrada, processar dados de um usuário
Leia maisJava para Desenvolvimento Web
Java para Desenvolvimento Web Servlets A tecnologia Servlet foi introduzida pela Sun Microsystems em 1996, aprimorando e estendendo a funcionalidade e capacidade de servidores Web. Servlets é uma API para
Leia maisTencologia em Análise e Desenvolvimento de Sistemas Disciplina: WEB I Conteúdo: WEB Container Aula 04
Tencologia em Análise e Desenvolvimento de Sistemas Disciplina: WEB I Conteúdo: WEB Container Aula 04 Agenda 1. 2. Web Container TomCat 2 3 J2EE permite criar aplicações Web dinâmicas (com conteúdo dinâmico)
Leia maisA Cloud Computing Architecture for Large Scale Video Data Processing
Marcello de Lima Azambuja A Cloud Computing Architecture for Large Scale Video Data Processing Dissertação de Mestrado Dissertation presented to the Postgraduate Program in Informatics of the Departamento
Leia maisVMware vcenter Converter TM
VMware vcenter Converter TM Esta pode ser uma ótima ferramenta a ser utilizada durante validação de software de terceiros com a tecnologia NComputing. Vmware Converter é uma ferramenta gratuita que permite
Leia maisAnálise de Big Data Streams
Análise de Big Data Streams Identificando e tratando fluxo Hadoop Marcelo Vaz Netto Nilson Moraes Filho 14/07/14 Propósito do Artigo Original Programming Your Network at Run-time for Big Data Applications
Leia maisSERVIDOR VIRTUAL BÁSICO - LINUX
SERVIDOR VIRTUAL BÁSICO - LINUX Estamos à sua disposição para quaisquer esclarecimentos. Atenciosamente, Eunice Dorino Consultora de Vendas eunice@task.com.br Tel.: 31 3123-1000 Rua Domingos Vieira, 348
Leia maisMRS. Monitoramento de Redes e Sistemas
MRS Monitoramento de Redes e Sistemas Origem Crescimento rede REGIN de 16 para 293 municípios. Diversidade de tipos de erros. Minimizar esforço e tempo humano gastos na detecção e eliminação de problemas.
Leia maisAN IN-DEPTH STUDY OF MAP REDUCE IN CLOUD ENVIRONMENT. Sistemas Distribuídos e Tolerância a Falhas Nuno Garcia m6284, Tiago Carvalho m6294
AN IN-DEPTH STUDY OF MAP REDUCE IN CLOUD ENVIRONMENT Sistemas Distribuídos e Tolerância a Falhas Nuno Garcia m6284, Tiago Carvalho m6294 Sobre o paper Novia Nurain, Hasan Sarwar, Md.Pervez Sajjad United
Leia maisRESULTADO DO PREGÃO PRESENCIAL Nº. 17/2012
CNPJ: 04.956.153/000168 Avenida Cidade de Leiria, nº 416 Zona 04 CEP 87.013280 Maringá/Pr Fone: (44) 32257554 email: licitacao@cisamusep.org.br RESULTADO DO PREGÃO PRESENCIAL Nº. 17/2012 Objeto: O PRESENTE
Leia maisDATA CENTER INOVAÇÃO PARA RESPONDER À EXPLOSÃO DE TENDÊNCIAS GERMANO ALVES DA COSTA ENGENHEIRO DE APLICAÇÃO
DATA CENTER INOVAÇÃO PARA RESPONDER À EXPLOSÃO DE TENDÊNCIAS GERMANO ALVES DA COSTA ENGENHEIRO DE APLICAÇÃO Consultoria Frost & Sullivan Por que investir em Data Center? Mercado brasileiro de Data Center
Leia maisAPRESENTAÇÃO DA PLATAFORMA
APRESENTAÇÃO DA PLATAFORMA MAIS VENDAS E MENOR CUSTO DE MARKETING! UMA FERRAMENTA COMPLETA PARA IMPACTAR O CLIENTE CERTO, NA HORA CERTA, COM A MENSAGEM CERTA E NO CANAL CERTO. A Jeenga é uma plataforma
Leia maisPrograma de Computador que funciona em Rede
Programa de Computador que funciona em Rede professor Robinson Vida Noronha 1 Paradigma Um programa rodando em rede é como uma loja. 2 Uma loja é composta por Vendedores Vendedores 3 Um loja deve servir
Leia maisComandos Linux Comando tcpdump, guia de referência e introdução. Sobre este documento
Comandos Linux Comando tcpdump, guia de referência e introdução Sobre este documento Este documento pode ser utilzado e distribído livremente desde que citadas as fontes de autor e referências, o mesmo
Leia maisANTES DE PROSSEGUIR GOSTARÍAMOS QUE VOCÊ CONHECESSE NOSSOS NOVOS CLIENTES E NOSSA NOVA TECNOLOGIA COM RECONHECIMENTO DE VOZ.
ANTES DE PROSSEGUIR GOSTARÍAMOS QUE VOCÊ CONHECESSE NOSSOS NOVOS CLIENTES E NOSSA NOVA TECNOLOGIA COM RECONHECIMENTO DE VOZ. NOSSA URA OUVE, ENTENDE E RESPONDE ÀS SOLICITAÇÕES DOS CLIENTES SEM PRECISAR
Leia maisParceiro Oficial de Soluções Zabbix no Brasil
Apresentação A Vantage TI conta uma estrutura completa para atender empresas de todos os segmentos e portes, nacionais e internacionais. Nossos profissionais dedicam-se ao desenvolvimento e criação de
Leia maisComo já foi muito bem detalhado no Capítulo IV, o jcompany Developer Suite pode ser
A1Criando um módulo de negócio Capítulo 27 Aplicação dividida em módulos - Introdução Como já foi muito bem detalhado no Capítulo IV, o jcompany Developer Suite pode ser compreendido como uma solução de
Leia maisCaminhando na Nuvem com a Amazon Web Services. José Papo AWS Tech Evangelist @josepapo
Caminhando na Nuvem com a Amazon Web Services José Papo AWS Tech Evangelist @josepapo O problema Infraestrutura é cara e complexa Infraestrutura Tradicional é Cara e Complexa Preços Altos para Infraestrutura
Leia maisHadoop - HDFS. Universidade Federal de Goiás Ciência da Computação
Hadoop - HDFS Universidade Federal de Goiás Ciência da Computação O que é Hadoop? Um framework para lidar com aplicações distribuídas que fazem uso massivo de dados Originalmente construído para a distribuição
Leia maisComponentes de um computador típico
Componentes de um computador típico Assim como em um videocassete, no qual é necessário ter o aparelho de vídeo e uma fita contendo o filme que será reproduzido, o computador possui a parte física, chamada
Leia maisach 2147 desenvolvimento de sistemas de informação distribuídos
ach 2147 desenvolvimento de sistemas de informação distribuídos mapreduce Daniel Cordeiro 30 de maio e 1º de junho de 2017 Escola de Artes, Ciências e Humanidades EACH USP definição do inst. nacional de
Leia maisLoad Balance Benefícios e vantagens dessa funcionalidade.
Load Balance Benefícios e vantagens dessa funcionalidade. Não espere seu ambiente cair para tomar providências. Saiba agora o que é o Load Balance. Load Balance 01. Eu tenho um problema? 02. O que é o
Leia maisBIG DATA INTRODUÇÃO. Humberto Sandmann humberto.sandmann@gmail.com
BIG DATA INTRODUÇÃO Humberto Sandmann humberto.sandmann@gmail.com Apresentação Humberto Sandmann humberto.sandmann@gmail.com Possui graduação em Ciências da Computação pelo Centro Universitário da Faculdade
Leia maisPROPOSIÇÃO DE VALOR:
Caro Cliente, Na economia atual, você não pode permitir ineficiências ou sobreprovisionamento de nenhum recurso - recursos inativos custam dinheiro, recursos mal utilizados custam oportunidades. Você precisa
Leia maisAcesso a Banco. Conexão em Java. Conexão em Java. Programação Orientada a Objetos Profa. Cristiane e Prof. Daniel
Acesso a Banco Programação Orientada a Objetos Profa. Cristiane e Prof. Daniel As conexões em Java são feitas através de uma ponte que implementa todas as funcionalidades que um banco de dados padrão deve
Leia maisHadoopDB. Edson Ie Serviço Federal de Processamento de Dados - SERPRO
HadoopDB Edson Ie Serviço Federal de Processamento de Dados - SERPRO Motivação Grandes massas de dados precisam ser processadas em clusters: 1 nó: 100TB@59MB/s = 23 dias Cluster com 1000 nós 33 min!!!
Leia maisForms Composer. Document Producer 1. Document Producer
1 O Lexmark versão 3.0 combina software de projeto de formulários eletrônicos com aplicativos de servidor de formulários eletrônicos. Agora você pode criar formulários personalizados e combiná-los com
Leia maisTCO e a Nuvem Como os clientes da AWS estão economizando com Cloud Computing. José Papo AWS Tech Evangelist @josepapo
TCO e a Nuvem Como os clientes da AWS estão economizando com Cloud Computing José Papo AWS Tech Evangelist @josepapo Ao analisar o TCO #1 Lembre que você está comparando paradigmas distintos Infraestrutura
Leia maisSoluções em. Cloud Computing. Midia Indoor. para
Soluções em Cloud Computing para Midia Indoor Resumo executivo A Midia Indoor chegou até a Under buscando uma hospedagem para seu site e evoluiu posteriormente para uma solução cloud ampliada. A empresa
Leia maisLABORATÓRIO 3 (parte 2)
FACULDADE PITÁGORAS Tecnólogo em Redes de Computadores Desempenho de Redes Prof. Ulisses Cotta Cavalca LABORATÓRIO 3 (parte 2) OBJETIVOS Verificar e manipular ferramentas de desempenho
Leia maisAnalisar os sistemas operacionais apresentados na figura e responder as questões abaixo: Identificar
Projeto Integrador Sistemas Operacionais Prof.ª Lucilia Ribeiro GTI 3 Noturno Grupo: Anderson Alves da Mota. André Luiz Silva. Misael bezerra dos santos. Sandro de almeida silva. Analisar os sistemas operacionais
Leia maisDevOps, Chef, Puppet, Ansible e como vender milhões na Black Friday com 100% de uptime
DevOps, Chef, Puppet, Ansible e como vender milhões na Black Friday com 100% de uptime Sobre a Rivendel Fundada em Maio/2013 Especialistas em Cloud/DevOps Empresa mais qualificada em Amazon Web Services
Leia maisTrabalho na 4Linux a 2 anos, e mexo com Linux a 5 anos.
2 / 15 Apresentação Vinicius Pardini Trabalho na 4Linux a 2 anos, e mexo com Linux a 5 anos. Certificações: LPI nível 2. Novell CLA e DCTS. Cursos que leciono: 450/451/452 Cursos da Formação (Modalidade
Leia maisBANCO NACIONAL DE DESENVOLVIMENTO ECONÔMICO E SOCIAL - BNDES
O BANCO DO DESENVOLVIMENTO DE TODOS OS BRASILEIROS BANCO NACIONAL DE DESENVOLVIMENTO ECONÔMICO E SOCIAL - BNDES JANEIRO / 2008 PROVA DISCURSIVA PROFISSIONAL BÁSICO - LEIA ATENTAMENTE AS INSTRUÇÕES ABAIXO.
Leia maisTHREADS EM JAVA. George Gomes Cabral
THREADS EM JAVA George Gomes Cabral THREADS Fluxo seqüencial de controle dentro de um processo. Suporte a múltiplas linhas de execução permite que múltiplos processamentos ocorram em "paralelo" (em computadores
Leia maisISVs e Startups: A jornada para a computação
ISVs e Startups: A jornada para a computação em nuvem com Microsoft Azure DEV213 ISVs e Startups: Atingindo o sucesso na jornada para a computação em nuvem com Microsoft Azure DEV213 ISVs e Startups: Seja
Leia mais