Programação em Sistemas Distribuídos MEI-MI-MSI 2015/16. MapReduce: Hadoop. Prof. António Casimiro. MapReduce
|
|
- João Galvão da Conceição
- 6 Há anos
- Visualizações:
Transcrição
1 Programação em Sistemas Distribuídos MEI-MI-MSI 2015/16 MapReduce: Hadoop Prof. António Casimiro MapReduce MapReduce.2
2 Tópicos Analise e Armazenamento de Grandes Quantidades de Dados Google pioneira Processamento: modelo Map Reduce Armazenamento: GFS (Google File System) Apache Hadoop lançou projecto similar, open source MapReduce.3 Grandes volumes de dados Estamos na era dos grandes volumes de dados! Dos sistemas peta-escala! Bolsa de valores de Nova York gera um terabyte de dados por dia Facebook armazena mais de 10 milhares de milhões de fotos (mais de um petabyte de dados) O maior acelerador de particulas do CERN vai produzir aproximadamente 15 petabytes de dados por ano Como armazenar e analisar esses dados? 1 petabyte = Byte = 1 petabyte =? Byte = TB = GB MapReduce.4
3 O Google Responde! Eles tiveram que resolver esse problema: Como indexar a web? Como classificar as páginas (page ranking)? Infraestrutura do Google: Muitas máquinas de baixo custo Middleware que dá fiabilidade e proporciona recuperação rápida de falhas Tendo em conta o problema e a infraestrutura, o Google definiu um modelo de programação chamado MapReduce que faz uso do seu GFS (Google File System) Estas duas tecnologias foram publicadas em MapReduce.5 MapReduce e GFS MapReduce Próprio para tarefas altamente paralelizáveis Tarefas são divididas em Maps e Reduces Estas tarefas são distribuídas por um nó mestre, num cluster de máquinas GFS Sistema de ficheiros distribuído Voltado fundamentalmente para o armazenamento de dados single-write/multiple-reads (e.g., logs, arquivos de páginas web, etc ), e append-only MapReduce.6
4 MapReduce Input data Map tasks (GFS) map 1 Reduce tasks Output (GFS) split 1 split 2 split n map 2 map 3 reduce 1 reduce m output 1 output m map n Each task is executed in any of the servers MapReduce.7 MapReduce Dados de entrada são lidos do GFS (ou HDFS, Hadoop FS) map (in_key, in_value) list(out_key, intermediate_value) Recebe pares chave-valor (key-value) (e.g., linhas de um ficheiro de log) Produz um conjunto de pares (chave-valor) intermédios reduce (out_key, list(intermediate_value)) list(out_value) Recebe um conjunto de pares chave-lista de valores Reduz esses valores a um único valor para uma chave Produz um conjunto de saídas chave-valor Dados de saída são armazenados no GFS (ou HDFS, Hadoop FS) MapReduce.8
5 Google MapReduce em Ação MapReduce.9 Apache Hadoop Concretização do MapReduce em Java Inicialmente concebido pelo Yahoo! como uma concretização livre do middleware do Google: Modelo de programação MapReduce GFS (Google File System) Em 2008 o projecto Hadoop tornou-se um projecto independente, da Apache Software Foundation Curiosidades: Instalado e a correr em clusters de 4000 nós no Yahoo! Capaz de ordenar um terabyte de dados em 62 segundos Yahoo! e Google tem mais de 500 aplicações MapReduce concretizadas MapReduce.10
6 Como é que o Hadoop MapReduce Funciona? COMMAND & CTL CENTRE or MASTER LIEUTENANTS or SLAVES WORKERS E se houver falhas: Na Task? Recria-se a tarefa No TaskTracker? Reafectam-se as tarefas a outros TaskTrackers No JobTracker? Pára tudo MapReduce.11 HDFS: Hadoop File System O MR do Hadoop (HMR) só é eficiente porque lê e escreve dados de um sistema de ficheiros distribuído, chamado HDFS Suporta as seguintes operações sobre ficheiros: create delete append read É portanto um SF append-only Os blocos têm como dimensão padrão 64M (!!!) Só para comparar, os blocos do NFS tem 4K Cada bloco é tipicamente replicado em 3 máquinas MapReduce.12
7 HDFS: Hadoop File System Há dois tipos de servidores num cluster HDFS Namenode: armazena os metadados dos ficheiros (em memória) Datanode: armazena os blocos dos ficheiros get f2 2,3,5 Namenode f1,1,2,3,6 f2,2,3,5 f3,1,4 Data node Data node Data node Data node Data node Data node MapReduce.13 Leitura no HDFS MapReduce.14
8 Escrita no HDFS MapReduce.15 Como o Namenode escolhe onde colocar as cópias dos blocos? Caso das três cópias (valor por omissão) Primeira cópia na máquina em que escreve Segunda cópia numa máquina em outro rack aleatório Terceira cópia numa outra máquina do rack da segunda cópia MapReduce.16
9 Exemplo: Contagem de Palavras Considere o problema de contar quantas vezes cada palavra aparece num conjunto de ficheiros Podemos fazer isso facilmente com scripts bash ou um programa sequencial em Java E se tivermos terabytes de ficheiros de dados? O programa sequencial vai ficar dias a correr Podemos fazer uma versão distribuída e paralela, mas a programação está longe de ser trivial. MapReduce.17 Contagem de Palavras com HMR Entrada: ficheiros com multiplas linhas como Lisboa London Madrid Lisboa Lisboa Lisboa Paris Paris Madrid Lisboa map (in_key, in_value)->list(out_key, intermediate_value) Recebe pares chave-valor (key-value) Criação de Tarefas Map, atribuíndo várias linhas a cada (2 tarefas no ex., uma a cada linha) e exec. da tarefa (contagem) Lisboa, 2 Lisboa, 3 London, 1 Paris, 2 Madrid, 1 Madrid, 1 Recebe pares chave-valor (key-value) Produz um conjunto de pares (chave-valor) intermédios Mistura das saídas (Merge) <Lisboa,{2,3>,<London,{1>,<Madrid,{1,1>,<Paris,{2> Tarefas Reduce <Lisboa,5>,<London,1>,<Madrid,2>,<Paris,2> reduce (out_key, list(intermediate_value))-> list(out_value) Recebe um conjunto de pares chave-lista de valores Reduz esses valores a um único valor para uma chave Produz um conjunto de saídas chave-valor MapReduce.18
10 Contagem de Palavras com HMR Madrid Lisbon Lisbon,1 Madrid,1 Lisbon,1 Lisbon,1 London,1 Lisbon, <1, 1> London, <1> Lisbon, 2 London, 1 Lisbon Paris Lisbon,1 Paris,1 Madrid,1 Paris,1 Paris,1 Madrid, <1> Paris, <1, 1> Madrid, 1 Paris, 2 Paris London London,1 Paris,1 MapReduce.19 Bibliografia Livro: Tom White. Hadoop: The Definitive Guide (2nd Edition). O Reilly Artigos: J. Dean and S. Gehemawat. MapReduce: Simplified Data Processing on Large Clusters. Communications of ACM vol. 51, num Versão extendida com o mesmo nome (e o dobro de páginas) publicada na conferência OSDI 04. Página web: Há também muita documentação nessas páginas! MapReduce.20
11 Design elements As is, culled from several sources on manuals and the Internet, with aim of giving design and programming examples Tópicos Modos de Operação do Hadoop Aplicações MapReduce com o Hadoop Exemplo de Aplicação (Word Counter) Instalação do Hadoop MapReduce.22
12 Modos de Operação do Apache Hadoop Local (ou Standalone) Não é preciso definir nada mais Pseudo-distribuído eudodistributed Criar ficheiro de configuração (usar config <ficheiro>) Instalar cliente e servidor ssh e criar chaves (opcional) Formatar hdfs (hadoop namenode format) Ligar serviços (start-dfs.sh e start-mapred.sh) Distribuído (em um cluster - ver web) MapReduce.23 Aplicações MapReduce com Hadoop Escrever Map Implementar org.apache.hadoop.mapred.mapper Implementar método map Estender org.apache.hadoop.mapred.mapreducebase Escrever Reduce Implementar org.apache.hadoop.mapred.reducer Implementar método reduce Estender org.apache.hadoop.mapred.mapreducebase Escrever Job Implementar método main Escrever testes de Unidade É importante só executar aquilo que tens certeza que está bem, pois é dificil fazer o debug distribuído Configurar e executar a aplicação localmente Possivelmente com um input menor MapReduce.24
13 Aplicações MapReduce com Hadoop Alguns passos opcionais Formatadores de input e output personalizados Escrever particioner e combiner Configurar e executar a aplicação num cluster Outras considerações A API que usamos é deprecated, e existe uma API mais nova (considerada instável). Estas novas classes podem ser encontradas em org.apache.hadoop.mapreduce Existem plugins para o Eclipse e NetBeans que facilitam muito o desenvolvimento em Hadoop MapReduce.25 Aplicação Exemplo: Word Counter Criar uma directoria/package wc com os ficheiros wc/wcmapper.java wc/wcreducer.java wc/wcjob.java Executar javac -classpath $HADOOP_INSTALL/hadoop core.jar wc/*.java jar -cvf wc.jar wc/*.class export HADOOP_CLASSPATH=wc.jar hadoop wc.wcjob <inputdir> <outputdir> <inputdir>: directoria com os ficheiros de entrada <outputdir>: directoria a ser criada com os ficheiros de saída MapReduce.26
14 WCMapper.java /* imports */ public class WCMapper extends MapReduceBase implements Mapper<LongWritable,Text,Text,IntWritable> public void map(longwritable key, Text value, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException { StringTokenizer tok = new StringTokenizer(value.toString(),",;.:"); IntWritable one = new IntWritable(1); while(tok.hasmoretokens()) { output.collect(new Text(tok.nextToken()), one); MapReduce.27 WCReducer.java /* imports */ public class WCReducer extends MapReduceBase implements Reducer<Text,IntWritable,Text,LongWritable> public void reduce(text key, Iterator<IntWritable> value, OutputCollector<Text, LongWritable> output, Reporter reporter) throws IOException { long wordcounter = 0; while(value.hasnext()) { wordcounter += value.next().get(); output.collect(key, new LongWritable(wordCounter)); MapReduce.28
15 WCJob.java /* imports */ public class WCJob { public static void main(string[] args) { JobConf conf = new JobConf(WCJob.class); conf.setjobname("countwords"); conf.setoutputkeyclass(text.class); conf.setoutputvalueclass(intwritable.class); conf.setmapperclass(wcmapper.class); conf.setreducerclass(wcreducer.class); conf.setinputformat(textinputformat.class); conf.setoutputformat(textoutputformat.class); FileInputFormat.setInputPaths(conf, new Path(args[0])); FileOutputFormat.setOutputPath(conf, new Path(args[1])); try { JobClient.runJob(conf); catch (IOException e) { e.printstacktrace(); MapReduce.29 Instalação do Hadoop Sacar hadoop na página da Apache Versão estável (11/2010): Descompactar em uma directoria onde haja 130 MB de espaço disponível (ex., área de grupos) Editar ~/.bashrc export HADOOP_INSTALL=< /hadoop > export PATH=$PATH:$HADOOP_INSTALL/bin Iniciar um novo terminal e executar hadoop version MapReduce.30
Java RMI. RMI Remote Method Invocation. Chamadas Remotas de Procedimentos (RPC) RPC - Implementação
Java Remote Method Invocation Java Remote Method Invocation () é um protocolo Java para comunicação entre processos Permite objetos Java invocar transparentemente métodos de outros objetos (que podem estar
Leia maisHadoop - HDFS. Universidade Federal de Goiás Ciência da Computação
Hadoop - HDFS Universidade Federal de Goiás Ciência da Computação O que é Hadoop? Um framework para lidar com aplicações distribuídas que fazem uso massivo de dados Originalmente construído para a distribuição
Leia maisWeather Search System
Weather Search System PROJECTO DE COMPUTAÇÃO EM NUVEM RELATÓRIO Grupo 2 Gonçalo Carito - Nº57701 Bernardo Simões - Nº63503 Guilherme Vale - Nº64029 Índice Weather Search System...1 1. A Solução Implementada...3
Leia maisAprenda a instalar a plataforma de monitorização Cacti
Aprenda a instalar a plataforma de monitorização Cacti Date : 27 de Março de 2014 Um administrador deve possuir as melhores ferramentas de monitorização para que tenha uma visão facilitada de toda a rede.
Leia maisArquiteturas Java Pragmá1cas para usar Big Data na Nuvem. Fabiane Bizinella Nardon (@fabianenardon) Fernando Babadopulos (@babadopulos)
Arquiteturas Java Pragmá1cas para usar Big Data na Nuvem Fabiane Bizinella Nardon (@fabianenardon) Fernando Babadopulos (@babadopulos) Nós e Big Data BigDataTailTargetDataScienceMachineLearningHiveHadoopCrunchMongoDBRedisAWS
Leia maisCadeira de Tecnologias de Informação. Ano lectivo 2009/2010. Sites dinâmicos. Com Expression Web TI2009/10 EWD_1. Filipa Pires da Silva (2009)
Cadeira de Tecnologias de Informação Ano lectivo 2009/2010 Sites dinâmicos Com Expression Web TI2009/10 EWD_1 .ASPX vs.html HTML: HTML é uma linguagem para descrever páginas web HTML significa Hyper Text
Leia maisMANUAL DO INSTALADOR XD EM AMBIENTES MICROSOFT WINDOWS
MANUAL DO INSTALADOR XD EM AMBIENTES MICROSOFT WINDOWS Está disponível a partir da versão 2014.73 do XD Rest/Pos/Disco um novo formato no instalador em ambientes Microsoft Windows. O instalador passa a
Leia maisTítulo da Apresentação
Título da Apresentação Gerenciamento de infraestrutura escalável para websites Fabiano Castro Pereira fabiano.pereira@serpro.gov.br 00/00/0000 Gerenciamento de infraestrutura escalável para websites 1
Leia mais(HDFS) Usando o. hadoop_
hadoop_ Usando o Hadoop Distributed File System (HDFS) Hadoop File System (HDFS) é o componente do O Hadoop responsável pela persistência de dados de forma distribuída, constituindo a principal funcionalidade
Leia maisEstratégia para dentificação dos fatores de maior impacto de aplicações Mapreduce
Estratégia para dentificação dos fatores de maior impacto de aplicações Mapreduce Fabiano da Guia Rocha Instituto Federal de Educação, Ciência e Tecnologia de Mato Grosso - Campus Cáceres Av. dos Ramires,
Leia maisSimulado de Linguagem de Programação Java
Simulado de Linguagem de Programação Java 1. Descreva o processo de criação de programas em Java, desde a criação do código-fonte até a obtenção do resultado esperado, por meio de sua execução. Cite as
Leia maisFORMAÇÃO WORDPRESS. Desenvolvimento de sites com a plataforma Wordpress. Abel Soares abelbarbosasoares@gmail.com
FORMAÇÃO Desenvolvimento de sites com a plataforma Wordpress Abel Soares abelbarbosasoares@gmail.com O QUE É O Sistema de gestão de conteúdos que lhe permite criar e manter, de maneira simples e robusta,
Leia maisFlávia Rodrigues. Silves, 26 de Abril de 2010
Flávia Rodrigues STC5 _ Redes de Informação e Comunicação Silves, 26 de Abril de 2010 Vantagens e Desvantagens da Tecnologia Acessibilidade, quer a nível pessoal quer a nível profissional; Pode-se processar
Leia maisDesenvolvimento de Software no Contexto Big Data
Universidade de Brasília - UnB Faculdade UnB Gama - FGA Engenharia de Software Desenvolvimento de Software no Contexto Big Data Autor: Guilherme de Lima Bernardes Orientador: Prof. Dr. Fernando William
Leia maisBIG DATA: UTILIZANDO A INTERNET PARA TOMADA DE DECISÕES
BIG DATA: UTILIZANDO A INTERNET PARA TOMADA DE DECISÕES Alex Travagin Chatalov¹, Ricardo Ribeiro Rufino ¹ ¹Universidade Paranaense (Unipar) Paranavaí PR Brasil alex_tr1992@hotmail.com ricardo@unipar.br
Leia maisPLANIFICAÇÃO INTRODUÇÃO ÀS TECNOLOGIAS DE INFORMAÇÃO BLOCO I
PLANIFICAÇÃO INTRODUÇÃO ÀS TECNOLOGIAS DE INFORMAÇÃO BLOCO I MÉDIO PRAZO 1 TECNOLOGIAS DE INFORMAÇÃO E INFORMÁTICA OBJECTIVOS CONTEÚDOS DATA Conceitos Introdutórios Conhecer os conceitos básicos relacionados
Leia maisProgramação Orientada por Objectos com Java. Ademar Aguiar. www.fe.up.pt/~aaguiar ademar.aguiar@fe.up.pt. MRSC, Programação em Comunicações
Programação Orientada por Objectos com Java www.fe.up.pt/~aaguiar ademar.aguiar@fe.up.pt 1 Java Networking java.net.* 141 Package java.net Java dispõe de diversas classes para manipular e processar informação
Leia maisLab 2 MapReduce e o Console Web
Lab 2 MapReduce e o Console Web Objetivos do Laboratório Neste laboratório você irá praticar o que você aprendeu nesta lição, mais especificamente você ira praticar as operações de MapReduce e aprender
Leia maisOrganização e Arquitetura de Computadores. Ivan Saraiva Silva
Organização e Arquitetura de Computadores Hierarquia de Memória Ivan Saraiva Silva Hierarquia de Memória A Organização de Memória em um computador é feita de forma hierárquica Registradores, Cache Memória
Leia maisT.I. para o DealerSuite: Servidores Versão: 1.1
T.I. para o DealerSuite: Servidores Versão: 1.1 Lista de Figuras T.I. para o Dealer Suite: Servidores Figura 1 Tela Principal do ESXi...4 Figura 2 Tela VMware Player...5 Figura 3 Arquivo /etc/exports do
Leia maisConfiguração para Uso do Tablet no GigaChef e Outros Dispositivos
Configuração para Uso do Tablet no GigaChef e Outros Dispositivos Birigui SP Setembro - 2013 1. Configurando o Ambiente. Este documento mostra como configurar o ambiente do GigaChef para usar o Tablet
Leia maisRedes de Computadores
Redes de Computadores Informação O que é Informação? Informação: conjunto de dados relacionados entre si. Sociedade de Informação Mais e Melhor Informação Recebemos tanta informação durante o dia que perdemos
Leia maisPara entender o conceito de objetos em programação devemos fazer uma analogia com o mundo real:
Introdução a Orientação a Objetos com Java Autor: Professor Victor Augusto Zago Menegusso. Orientação a Objetos É um paradigma de programação que define a estrutura de um programa baseado nos conceitos
Leia maisArquitecturas de Software Enunciado de Projecto 2007 2008
UNIVERSIDADE TÉCNICA DE LISBOA INSTITUTO SUPERIOR TÉCNICO Arquitecturas de Software Enunciado de Projecto 2007 2008 1 Introdução Na primeira metade da década de 90 começaram a ser desenvolvidas as primeiras
Leia maisDescubra as novas funcionalidades com Office 365 My I-365, uma nova forma de colaborar. 2013 Ipsos
Descubra as novas funcionalidades com Office 365 My I-365, uma nova forma de colaborar Mensagens chave Ser lider com nossos clientes O que estamos falando e também sobre Ser moderno Ser eficiente Estar
Leia maisUNIVERSIDADE DE SÃO PAULO (USP) ESCOLA DE ARTES, CIÊNCIAS E HUMANIDADES (EACH)
UNIVERSIDADE DE SÃO PAULO (USP) ESCOLA DE ARTES, CIÊNCIAS E HUMANIDADES (EACH) TUTORIAL PRIMEIROS PASSOS: PREPARANDO SEU PC PARA CONSEGUIR DESENVOLVER SEU PRIMEIRO SITE EM WORDPRESS! Parte Um Autoria e
Leia maisEstrutura de Diretórios Linux. Rodrigo Gentini gentini@msn.com
Linux Rodrigo Gentini gentini@msn.com /bin - Ficam armazenados os comandos básicos que todos os usuários podem usar, como o : ls, cat, cd entre outros. /boot - Ficam todos os arquivos que a máquina precisa
Leia maisHardware: Componentes Básicos. Sistema de Computador Pessoal. Anatomia de um Teclado. Estrutura do Computador. Arquitetura e Organização
Hardware: Componentes Básicos Arquitetura dos Computadores Dispositivos de Entrada Processamento Dispositivos de Saída Armazenamento Marco Antonio Montebello Júnior marco.antonio@aes.edu.br Sistema de
Leia maisCriação de uma aplicação Web ASP.NET MVC 4
Criação de uma aplicação Web ASP.NET MVC 4 usando Code First, com Roles (VS2012) Baseado no artigo de Scott Allen Roles in ASP.NET MVC4 : http://odetocode.com/blogs/scott/archive/2012/08/31/seeding membership
Leia maisFundamentos de Programação. Diagrama de blocos
Fundamentos de Programação Diagrama de blocos Prof. M.Sc.: João Paulo Q. dos Santos E-mail: joao.queiroz@ifrn.edu.br Página: http://docente.ifrn.edu.br/joaoqueiroz/ O processo de desenvolvimento (programação),
Leia maisUnidade 1: O Computador
Unidade : O Computador.3 Arquitetura básica de um computador O computador é uma máquina que processa informações. É formado por um conjunto de componentes físicos (dispositivos mecânicos, magnéticos, elétricos
Leia maisLista de Exercícios 1
Conceitos envolvidos: a) Memória de Dados (interna e externa) b) Memória de Programa (interna e externa) c) Operações aritméticas e lógicas d) Portas e) Endereçamento a Bit f) Contadores e Temporizadores
Leia maisPROCEDIMENTO INSTALAÇÃO SINAI ALUGUEL
1º Passo: Baixar o arquivo http://www.sinaisistemaimobiliario.com.br/instalar/instalador_aluguel.rar. 2º Passo: No SERVIDOR ao qual o sistema deverá ser instalado: a) Criar uma pasta, preferencialmente
Leia maisConfigurando uma aplicação Struts
Configurando uma aplicação Struts Instalando os Softwares 1. NetBeans IDE 5.0 2. Java Standard Development Kit (JDK ) version 1.4.2 or 5.0 Criando uma nova aplicação Struts 1. Click File > New Project.
Leia maisMicroprocessadores. Memórias
s António M. Gonçalves Pinheiro Departamento de Física Covilhã - Portugal pinheiro@ubi.pt Arquitectura de Microcomputador Modelo de Von Neumann Barramento de Endereços µprocessador Entrada/Saída Barramento
Leia maisExercício de Estrutura de dados. Java Fila
Exercício de Estrutura de dados Java Fila Obs.: Esse projeto foi um exercício realizado em sala de aula da matéria de Estrutura de dados com o Profº Frederico Augusto Siqueira Gentil Aqui está sendo relatado
Leia maisManual SOFIA (Software Inteligente ARPEN-SP) versão 0.1
Manual SOFIA (Software Inteligente ARPEN-SP) versão 0.1 Normatização: Provimento nº 22/2014 Corregedoria Geral de São Paulo Segue o link com a íntegra do provimento, publicado no site da ARPEN-SP, em 18/09/2014:
Leia maisProgramação por Objectos
Programação por Objectos Java: instalação, configuração e ferramentas MEEC@IST Java 1/21 Ferramentas revisão J2SE JDK (última vs, pelo menos vs 5.0) http://java.sun.com/javase/downloads/index.jsp Eclipse,
Leia mais2 Segmentação de imagens e Componentes conexas
Universidade Tecnológica Federal do Paraná (UTFPR) Departamento Acadêmico de Informática (DAINF) Algoritmos II Professor: Alex Kutzke (alexk@dainf.ct.utfpr.edu.br) Especificação do Primeiro Trabalho Prático
Leia maisWeb Services. EclipseSDK/DB2 Construindo/Consumindo Serviços
Web Services EclipseSDK/DB2 Construindo/Consumindo Serviços Mario C. Ponciano a.k.a: Razec http://razec.wordpress.com mrazec@gmail.com 28 de Novembro 2009 2 Sumário Objetivo... 3 Requisitos... 3 Desenvolvimento...
Leia maisProcessamento de Dados aplicado à Geociências. AULA 1: Introdução à Arquitetura de Computadores
1 Processamento de Dados aplicado à Geociências AULA 1: Introdução à Arquitetura de Computadores UNIVERSIDADE FEDERAL DE PELOTAS CENTRO DE DESENVOLVIMENTO TECNOLÓGICO CURSO SUPERIOR DE TECNOLOGIA EM GEOPROCESSAMENTO
Leia maisInformática I. Aula 19. http://www.ic.uff.br/~bianca/informatica1/ Aula 19-20/06/06 1
Informática I Aula 19 http://www.ic.uff.br/~bianca/informatica1/ Aula 19-20/06/06 1 Ementa Histórico dos Computadores Noções de Hardware e Software Microprocessadores Sistemas Numéricos e Representação
Leia maisCurrent Contents Connect
Current Contents Connect Current Contents Connect Cartão de referência rápida ISI Web of Knowledge SM Pesquise ou navegue em mais de 8.000 revistas abrangidas por sete edições multidisciplinares e duas
Leia maisOI CLOUD SEJA BEM-VINDO!
OI CLOUD SEJA BEM-VINDO! O QUE É O OI CLOUD? O Oi Cloud é um serviço de armazenamento, compartilhamento e sincronização de arquivos. Esses arquivos ficarão acessíveis a partir de qualquer dispositivo,
Leia maisSISTEMAS DISTRIBUÍDOS
SISTEMAS DISTRIBUÍDOS Introdução Slide 1 Nielsen C. Damasceno Introdução Tanenbaum (2007) definiu que um sistema distribuído é aquele que se apresenta aos seus usuários como um sistema centralizado, mas
Leia maisRoteiro... Sistemas Distribuídos Aula 4. Troca de mensagens. Comunicação entre processos. Conceitos de SD, vantagens e desvantagens
Roteiro... Conceitos de SD, vantagens e desvantagens Infra-estrutura de um SD Considerações de projeto Sistemas Distribuídos Aula 4 Karine de Pinho Peralta Modelos de Comunicação - comunicação entre processos
Leia maisIntrodução ao. Script. Baltazar Tavares (Psycho Mantys) https://psychomantys.wordpress.com https://about.me/psycho_mantys
Introdução ao Script Baltazar Tavares (Psycho Mantys) https://psychomantys.wordpress.com https://about.me/psycho_mantys O que é Bash Script? O que é Bash + Script? O que é Bash? O que é Bash? Ele é um
Leia maisConceitos básicos sobre computadores
SSC0101 - ICC1 Teórica Introdução à Ciência da Computação I Conceitos básicos sobre computadores Prof. Vanderlei Bonato: vbonato@icmc.usp.br Sumário O que é um computador e onde podemos encontrá-los? Divisão:
Leia maisLógica de Programação. Profas. Simone Campos Camargo e Janete Ferreira Biazotto
Lógica de Programação Profas. Simone Campos Camargo e Janete Ferreira Biazotto O curso Técnico em Informática É o profissional que desenvolve e opera sistemas, aplicações, interfaces gráficas; monta estruturas
Leia maisJoomla na otimização de sites para buscadores de Internet SEO. Marcio Junior Vieira marcio@ambientelivre.com.br
Joomla na otimização de sites para buscadores de Internet SEO Marcio Junior Vieira marcio@ambientelivre.com.br Agenda O CMS Joomla. Vantagens do Joolma O que é SEO? Joomla e SEO Tipos de Buscas Práticas
Leia maisMANUAL DE INSTALAÇÃO DO MILLENNIUM BASIC
MANUAL DE INSTALAÇÃO DO MILLENNIUM BASIC O primeiro passo para fazer a instalação do Millennium Basic é fazer o download dos programas executáveis para a máquina do usuário. Acesse o portal de conteúdo
Leia maisTecnologia da Informação
UNIDADE III Banco de Dados Professor : Hiarly Alves www.har-ti.com Fortaleza - 2014 Tópicos Conceito de Banco de Dados. Problemas com Banco de Dados. Modelos de Relacionamento de um Banco de Dados. SGDB
Leia maisBiblioteca Escolar da EB2 Dr. Manuel de Oliveira Perpétua. Como pesquisar na internet
Biblioteca Escolar da EB2 Dr. Manuel de Oliveira Perpétua Como pesquisar na internet Antes de haver Internet, as grandes concentrações de informação encontravam-se quase em exclusivo nos livros, revistas
Leia maisÍndice. Manual De instalação ProjectNet Manager http:// www.projectnet.com.br
Índice Instalação ProjectNet Manager... Página 2 Configuração Inicial ProjectNet Manager... Página 8 Instalação do Microsoft SQL Server Express... Página 10 Apontando um Banco de Dados já existente...
Leia maisIntrodução a conceitos e a prática de programação
Instituto de Informática - UFG Disciplina: Introdução à Computação Introdução a conceitos e a prática de programação Autores: Marcelo Akira e Anderson Soares Fevereiro de 2011 Alguns direitos autorais
Leia maisNum programa em JAVA é possível definir diferentes sequências de execução independente: Threads.
Threads Folha 5-1 Num programa em JAVA é possível definir diferentes sequências de execução independente: Threads. Uma Thread é similar a um processo no sentido em que corresponde a um conjunto de instruções
Leia maisPOO Programação Orientada a Objetos
POO Programação Orientada a Objetos Mãos à Obra Jefferson S. Silva IFET - PI Copyright Jefferson S. Silva Slide 1 O sistema Nossa empresa foi contratada por uma pequena gravadora de música que deseja entrar
Leia maisaplicação arquivo Condições Gerais de Utilização
aplicação arquivo Condições Gerais de Utilização Manual das condições gerais que regulam a utilização dos serviços disponibilizados pela aplicação Arquivo, plataforma de gestão de informação, do Municipio
Leia maisHoje em dia é muito comum utilizar uma API de logging de mensagens como o Log4j para indicar os comportamentos de uma aplicação.
Introdução Hoje em dia é muito comum utilizar uma API de logging de mensagens como o Log4j para indicar os comportamentos de uma aplicação. O Log4j é um é um projeto open source distribuído pela Apache
Leia maisFramework Hadoop em Plataformas de Cloud e Cluster Computing
4 Framework Hadoop em Plataformas de Cloud e Cluster Computing Raffael B. Schemmer raffael.schemmer@inf.ufrgs.br 1, Julio C. s. Anjos julio.c.s.anjos@gmail.com 2, André L. Tibola altibola@gmail.com 3,
Leia maisComputação Paralela. ParAspJ Aplicações Paralelas em Java (parte 1) João Luís Ferreira Sobral Departamento do Informática Universidade do Minho
Computação Paralela ParAspJ Aplicações Paralelas em Java (parte 1) João Luís Ferreira Sobral Departamento do Informática Universidade do Minho Novembro 2005 Fases de desenvolvimento de aplicações paralelas
Leia maisFerramenta Nessus e suas funcionalidades
Ferramenta Nessus e suas funcionalidades Alberto S. Matties 1 1 Curso Superior de Tecnologia em Redes de Computadores Rua Gonçalves Chaves 602 96.015-000 Pelotas RS Brasil 2 FACULDADE DE TECNOLOGIA SENAC
Leia maisMódulo de Aprendizagem I
Módulo de Aprendizagem I Digitalizar fotografias para a base de dados do SiFEUP Notas: No decorrer deste módulo de aprendizagem, pressupõe-se que o utilizador já tem o scanner devidamente instalado no
Leia maisMétodo de ordenação - objetivos:
Método de ordenação - objetivos: Corresponde ao processo de rearranjar um conjunto de objetos em uma ordem ascendente ou descendente. Facilitar a recuperação posterior de itens do conjunto ordenado. São
Leia maisNoSQL como suporte à análise de dados nãonormalizados. volume
NoSQL como suporte à análise de dados nãonormalizados e de grande volume Joel Alexandre Orientador: Professor Luís Cavique Motivação Grande quantidade de registos Tudo é registado Internet of things tudo
Leia maisMapReduce - Conceitos e Aplicações
1. Introdução MapReduce - Conceitos e Aplicações Tiago Pedroso da Cruz de Andrade 1 1 Laboratório de Redes de Computadores Instituto de Computação Universidade Estadual de Campinas tiagoandrade@lrc.ic.unicamp.br
Leia maisFACULDADE MULTIVIX CURSO DE ENGENHARIA DE PRODUÇÃO 2º PERÍODO MARIANA DE OLIVEIRA BERGAMIN MONIQUE MATIELLO GOMES THANIELE ALMEIDA ALVES
FACULDADE MULTIVIX CURSO DE ENGENHARIA DE PRODUÇÃO 2º PERÍODO MARIANA DE OLIVEIRA BERGAMIN MONIQUE MATIELLO GOMES THANIELE ALMEIDA ALVES COMPUTAÇÃO EM NUVEM CACHOEIRO DE ITAPEMIRIM 2015 MARIANA DE OLIVEIRA
Leia maisDisciplina: Unidade III: Prof.: E-mail: Período:
Encontro 09 Disciplina: Sistemas de Banco de Dados Unidade III: Modelagem Lógico de Dados Prof.: Mario Filho E-mail: pro@mariofilho.com.br Período: 5º. SIG - ADM 6. Introdução ao MS Access O Microsoft
Leia maisLaboratório de Redes de Computadores INSTALANDO SERVIDOR APACHE NOS CENTOS 6.5
Laboratório de Redes de Computadores Professor Responsável: Dinailton José da Silva Tratamento dos dados gerados pelo Servidor de Web a partir do arquivo de logs. Configuração do Servidor Web para armazenar
Leia maisOs salários de 15 áreas de TI nas cinco regiões do Brasil
Os salários de 15 áreas de TI nas cinco regiões do Brasil Entre 2011 e 2012, os salários na área de tecnologia da informação (TI) cresceram em média 10,78% um número animador, que pode motivar jovens estudantes
Leia maisIntrodução à Programação de Computadores Parte I
Introdução à Programação de Computadores Parte I Prof. Dr. Edson Pimentel Centro de Matemática, Computação e Cognição Objetivos Compreender os componentes básicos de um programa... Objetivos Bacharelado
Leia maisJAVA. Professor: Bruno Toledo
JAVA Professor: Bruno Toledo Programação Java com Banco de Dados MYSQL Instalando o Servidor MYSQL Iremos utilizar o Vertrigo, programa esse que possui o servidor MySQL, Apache e PHP. Porém nosso foco
Leia maisIntrodução à orientação a objetos
Universidade Federal de Juiz de Fora PET Elétrica Introdução à orientação a objetos Tutor: Francisco José Gomes Aluno: João Tito Almeida Vianna 18/05/2013 1 Programação Estruturada x Orientação a objetos
Leia maistesto Saveris Web Access Software Manual de instruções
testo Saveris Web Access Software Manual de instruções 2 1 Índice 1 Índice 1 Índice... 3 2 Especificações... 4 2.1. Utilização... 4 2.2. Requisitos do sistema... 4 3 Instalação... 5 3.1. Instalação de
Leia maisArquivos Indexados por Chaves Secundárias. Vanessa Braganholo
Arquivos Indexados por Chaves Secundárias Vanessa Braganholo Arquivos Indexados } Até agora, as alternativas que vimos funcionam apenas para indexar arquivos por chaves primárias } Isso otimiza a busca
Leia maiswww.sysdevsolutions.com Driver Next Versão 1.0 de 07-03-2011 Português
Driver Next Versão 1.0 de 07-03-2011 Português Índice Configuração dos documentos no Backofficce... 3 O Driver ERP Next... 6 Configurações principais... 6 Configurações do vendedor... 7 Configurações do
Leia maisSistemas Distribuídos
Sistemas Distribuídos Marcelo Lobosco DCC/UFJF Comunicação em Sistemas Distribuídos Aula 06 Agenda Modelo Cliente-Servidor (cont.) Invocação Remota de Método (Remote Method Invocation RMI) Visão Geral
Leia maisCassandra: Requisições de clientes e integração com Hadoop. Jorge Faria Fernandes - 090652 Mycke Richard Guntijo - 090662
Cassandra: Requisições de clientes e integração com Hadoop Jorge Faria Fernandes - 090652 Mycke Richard Guntijo - 090662 Sumário Requisições de Clientes Coordinator Requisições de Leitura Requisições de
Leia maisPassos para a instalação
Manual de Instalação da Comanda Eletrônica Arquivos para instalação no computador.net Framework 3.5 ActiveSync (programa que vem junto com o Pocket que faz a integração do aparelho com o computador do
Leia maisLivro de Receitas. Modelação Engenharia de Software Sistemas Distribuídos. 2009-04-17 Versão 1.1. Framework de aplicações com Web Services
Modelação Engenharia de Software Sistemas Distribuídos Departamento Engenharia Informática Livro de Receitas Framework de aplicações com Web Services 2009-04-17 Versão 1.1 Índice Índice... 2 Nota prévia...
Leia maisInteligência Artificial
Inteligência Artificial Aula 7 Programação Genética M.e Guylerme Velasco Programação Genética De que modo computadores podem resolver problemas, sem que tenham que ser explicitamente programados para isso?
Leia maisManual FPO 22-Jan-2007 Actualizado em 03-Fev-2015
Manual FPO 22-Jan-2007 Actualizado em 03-Fev-2015 A. Adicionar um Documento (comunicado, regulamento,impresso, etc) B. Colocar Fotos online (comunicação) C. Administração das notícias D. Administração
Leia maisRede VPN UFBA Procedimento para configuração
UFBA Universidade Federal da Bahia STI Superintendência de Tecnologia da Informação Rede VPN UFBA Procedimento para configuração 2015 Índice Introdução... 2 Windows 8... 3 Windows 7... 11 Windows VISTA...
Leia maisSISTEMAS OPERACIONAIS. 3ª. Lista de Exercícios
SISTEMAS OPERACIONAIS INF09344 - Sistemas Operacionais / INF02780 - Sistemas Operacionais / INF02828 - Sistemas de Programação II Prof a. Roberta Lima Gomes (soufes@gmail.com) 3ª. Lista de Exercícios Data
Leia maisDiagrama de Componentes e Implantação
Diagrama de Componentes e Implantação Curso de Especialização DEINF - UFMA Desenvolvimento Orientado a Objetos Prof. Geraldo Braz Junior Referências: Booch, G. et al. The Unified Modeling Language User
Leia maisReader e Writer para streams de caracteres (texto).
Folha 1-1 Recordando POO: Streams Uma stream é uma abstracção que representa uma fonte genérica de entrada de dados ou um destino genérico para escrita de dados que é definida independentemente do dispositivo
Leia maisGoogle File System. Danilo Silva Marshall Érika R. C. de Almeida
Google File System Danilo Silva Marshall Érika R. C. de Almeida Tópicos abordados Sistemas de arquivos Sistemas de arquivos distribuídos Google File System Gmail File System Linux Windows Gspace Referências
Leia maisModelagem de Sistemas Web. Metodologias para o desenvolvimento de sistemas web
Modelagem de Sistemas Web Aula 5 Metodologias para o desenvolvimento de sistemas web Metodologias para o desenvolvimento de sistemas web WebML Fontes: Itana Gimenes e Bruno Souza Et Estrutura t do WebML
Leia mais5a. Aula - XML 2013.2
5a. Aula -XML 2013.2 Introdução Criando Documentos XML Validando Documentos XML DTD ( Documents Type Definition) XML Schema ConsultandoXML com Xpath com XQuery Modularizando XML Namespaces Entities TransformandoXML
Leia maisApache Hadoop: conceitos teóricos e práticos, evolução e novas possibilidades
Capítulo 3 Apache Hadoop: conceitos teóricos e práticos, evolução e novas possibilidades Alfredo Goldman, Fabio Kon, Francisco Pereira Junior, Ivanilton Polato e Rosangela de Fátima Pereira Abstract Advancements
Leia maisMDS II Aula 04. Concepção Requisitos Diagrama de Casos de Uso (Use Cases)
MDS II Aula 04 Concepção Requisitos Diagrama de Casos de Uso (Use Cases) 55 DIAGRAMA DE CASOS DE USO BENEFÍCIOS DOS CASOS DE USO ILUSTRAR POR QUE O SISTEMA É NECESSÁRIO OS REQUISITOS DO SISTEMA SÃO COLOCADOS
Leia maisManual de instalação do Microsoft SQL Server 2008 R2 Express no Windows 10
Manual de instalação do Microsoft SQL Server 2008 R2 Express no Windows 10 1-Antes de iniciar a instalação do SQL é necessário liberar as permissões do usuário para evitar erro, para realizar esse procedimento
Leia maisInstituto de Pesquisas Energéticas e Nucleares, IPEN CNEN/SP. Biblioteca Terezine Arantes Ferraz
Instituto de Pesquisas Energéticas e Nucleares, IPEN CNEN/SP Biblioteca Terezine Arantes Ferraz BIBLIOTECA TEREZINE ARANTES FERRAZ Tutorial de utilização do gerenciador de referencias bibliográficas EndNote
Leia maisBanco de Dados I. Prof. Edson Thizon ethizon@bol.com.br
Banco de Dados I Prof. Edson Thizon ethizon@bol.com.br Conceitos Dados Fatos conhecidos que podem ser registrados e que possuem significado implícito Banco de dados (BD) Conjunto de dados interrelacionados
Leia maisCriando scanner para dectar BackupExec vulneráveis ao exploit do Metasploit. Inj3cti0n P4ck3t
Criando scanner para dectar BackupExec vulneráveis ao exploit do Metasploit Inj3cti0n P4ck3t São Paulo 2010 Author: Inj3cti0n P4ck3t Date: 18/10/10 Nome do Artigo: Criando scanner para dectar BackupExec
Leia maisAdministração Portal Controle Público
Administração Portal Controle Público Manual do usuário www.controlepublico.org.br 2015 Sumário 1. Workflow da publicação... 3 1.1. Perfis de publicação... 3 1.2. Perfis de controle no Administrador...
Leia maisArquitetura de Aplicações J2EE. Jorge Fernandes Outubro de 2003
Arquitetura de Aplicações J2EE Jorge Fernandes Outubro de 2003 J2EE O que é Como se organiza Como funciona Elementos Arquitetura Típica Componentes de Software Reuso é um processo Publicar interfaces Distribuir
Leia maisProgramação 2009/2010 MEEC - MEAer Laboratório 5 Semana de 26 de outubro de 2009
Programação 2009/2010 MEEC - MEAer Laboratório 5 Semana de 26 de outubro de 2009 Ao desenvolver os seguintes programas tenha em atenção o bom uso dos comentários, o uso da indentação e o correcto nome
Leia mais