COMPUTAÇÃO EM NUVEM E PROCESSAMENTO MASSIVO DE DADOS Conceitos, tecnologias e aplicações
|
|
|
- Gabriela Camarinho Taveira
- 6 Há anos
- Visualizações:
Transcrição
1 COMPUTAÇÃO EM NUVEM E PROCESSAMENTO MASSIVO DE DADOS Conceitos, tecnologias e aplicações Jaqueline Joice Brito Slides em colaboração com Lucas de Carvalho Scabora
2 Sumário Computação em Nuvem Definição Modelos de Serviços Prós e Contras Aplicações Processamento Massivo de Dados Hadoop e Spark Exemplo: processamento de junção estrela 2
3 O que é Computação em Nuvem? Computação em nuvem é um modelo que possibilita acesso a um conjunto de recursos computacionais compartilhados e interligados via rede Imagem: 3
4 O que é Computação em Nuvem? A nuvem é uma metáfora para a Internet ou infraestrutura de comunicação entre os componentes arquiteturais Abstração que oculta a complexidade de infraestrutura Imagem: 4
5 O que é Computação em Nuvem? Em resumo, é uma plataforma que provê serviços sob-demanda, que está sempre disponível, em qualquer lugar e a qualquer hora Fonte dmagem: 5
6 O que é Computação em Nuvem? Definição segundo NIST Computação em nuvem é um modelo para permitir acesso ubíquo, conveniente e sob demanda via rede a um agrupamento compartilhado e configurável de recursos computacionais (por exemplo, redes, servidores, equipamentos de armazenamento, aplicações e serviços), que pode ser rapidamente fornecido e liberado com esforços mínimos de gerenciamento ou interação com o provedor de serviços. NIST: Instituto Nacional de Padrões e Tecnologia do Departamento de Comércio Norte-Americano 6
7 O que é Computação em Nuvem? Principais Características Serviço sob demanda Alocação dinâmica de recursos Acesso via rede Compartilhamento de recursos Elasticidade Sensação de capacidade infinita de recursos Serviço mensurável Modelo pay-as-you-go 7
8 O que é Computação em Nuvem? Tecnologia Modelo de Negócio Mainframe Computação Centralizada Alto custo de hardware e software Cliente/Servidor Computação Distribuída Licença para SO e aplicativos Computação em Nuvem Grandes data centers Custo proporcional ao uso 8
9 O que é Computação em Nuvem? Modelos de implantação Privada On-premise e Off-premise Comunitária Pública Híbrida Imagem: 9
10 Modelos de Serviços Imagem: 10
11 Modelos de Serviços Termos Emergentes Database as a Service (DBaaS) O provedor de serviço tem a responsabilidade de instalar e dar manutenção ao banco de dados. Assim, o usuário, que contratou o serviço, apenas paga um valor proporcional ao uso. Business Intelligence as a Service (BIaaS) Também chamado de Software como um servico de business inteligence (SaaS BI), consiste em instalar e gerenciar aplicações de BI na nuvem. 11
12 Modelos de Serviços BD SGBD instalation configuration maintenance... Adaptado de: 12
13 Modelos de Serviços Exemplos Software as a Service (SaaS) Platform as a Service (PaaS) Infrastructure as a Service (IaaS) 13
14 Tipos de Armazenamento Exemplo da Microsoft Azure ARMAZENAMENTO COM REDUNDÂNCIA LOCAL (LRS) ARMAZENAMENTO COM REDUNDÂNCIA DE ZONA (ZRS) ARMAZENAMENTO COM REDUNDÂNCIA GEOGRÁFICA (GRS) e ARMAZENAMENTO COM REDUNDÂNCIA GEOGRÁFICA NO ACESSO DE LEITURA (RA-GRS) 14
15 Prós e Contras Principais Vantagens Redução de investimento em TI (hardware e software) Envolvendo custo de manutenção, de pessoal, de espaço físico e de energia Confiabilidade Replicação dos dados Disponibilidade das aplicações 15
16 Prós e Contras Principais Vantagens Não há contratos complexos e duradouros de prestação de serviço Cobra-se apenas pelos recursos multiplicados pelo tempo de uso Escala por demanda Capacidade virtualmente infinitos Abstração da tecnologia sendo utilizada 16
17 Prós e Contras Principais Desafios Segurança e confidencialidade dos dados Gerenciamento dos dados Disponibilidade Integração de serviços Necessidade de uma banda maior de internet 17
18 Aplicações Usos mais comuns da computação em nuvem IaaS e PaaS Armazenamento de dados Ambientes de testes e desenvolvimento Processamento e análise de Big Data Backup 18
19 Hadoop Framework de processamento paralelo de dados em larga escala Altamente escalável Tolerante a falhas Disponível Principais componentes Armazenamento HDFS Hadoop Distributed File System Processamento MapReduce 19
20 HDFS Hadoop Distributed File System NameNode HDFS DataNode 1 DataNode 2 DataNode 3 DataNode 4 20
21 HDFS Hadoop Distributed File System NameNode HDFS DataNode 1 DataNode 2 DataNode 3 DataNode 4 21
22 HDFS Hadoop Distributed File System NameNode HDFS Metadados DataNode 1 DataNode 2 DataNode 3 DataNode 4 Cada bloco possui 3 réplicas distribuídas entre os DataNodes 22
23 MapReduce casa rio boneca rio dado casa dado boneca dado casa dado rio rio casa rio dado 23
24 MapReduce casa rio boneca rio dado casa dado boneca dado casa dado rio rio casa rio dado casa rio boneca rio dado casa dado boneca dado casa dado rio rio casa rio dado Spling 24
25 chave valor MapReduce casa,1 rio, 1 boneca, 1 rio,1 casa rio boneca rio dado casa dado boneca dado casa dado rio rio casa rio dado casa rio boneca rio dado casa dado boneca dado casa dado rio rio casa rio dado dado,1 casa, 1 dado, 1 boneca, 1 dado,1 casa, 1 dado, 1 rio, 1 rio,1 casa, 1 rio, 1 dado, 1 Spling Map 25
26 MapReduce casa,1 rio, 1 boneca, 1 rio,1 chave boneca, 1 boneca, 1 valor casa rio boneca rio dado casa dado boneca dado casa dado rio rio casa rio dado casa rio boneca rio dado casa dado boneca dado casa dado rio rio casa rio dado dado,1 casa, 1 dado, 1 boneca, 1 dado,1 casa, 1 dado, 1 rio, 1 rio,1 casa, 1 rio, 1 dado, 1 casa,1 casa, 1 casa, 1 casa, 1 dado, 1 dado, 1 dado, 1 dado, 1 dado, 1 rio, 1 rio, 1 rio, 1 rio, 1 rio, 1 Spling Map Shu ing 26
27 MapReduce casa,1 rio, 1 boneca, 1 rio,1 boneca, 1 boneca, 1 casa rio boneca rio dado casa dado boneca dado casa dado rio rio casa rio dado casa rio boneca rio dado casa dado boneca dado casa dado rio rio casa rio dado dado,1 casa, 1 dado, 1 boneca, 1 dado,1 casa, 1 dado, 1 rio, 1 rio,1 casa, 1 rio, 1 dado, 1 casa,1 casa, 1 casa, 1 casa, 1 dado, 1 dado, 1 dado, 1 dado, 1 dado, 1 rio, 1 rio, 1 rio, 1 rio, 1 rio, 1 boneca, 2 casa, 4 dado, 5 rio, 5 Spling Map Shu ing Reduce 27
28 MapReduce Função Map 28
29 MapReduce Função Reduce 29
30 Spark Framework de processamento distribúido Computação em memória Baseado em RDDs Resilient Distributed Datasets Estruturas de dados em paralelo Tolerante a falhas Persistência de resultados intermediários em memória primária Manipulação otimizada por meio de um conjunto operadores 30
31 Spark Exemplo: word count JavaRDD<String> textfile = sc.textfile("hdfs://..."); JavaPairRDD<String, Integer> counts = textfile.flatmap(s -> Arrays.asList(s.split(" ")).iterator()).maptopair(word -> new Tuple2<>(word, 1)).reduceByKey((a, b) -> a + b); counts.saveastextfile("hdfs://..."); 31
32 Fluxo dos Dados no MapReduce 32
33 Fluxo dos Dados no MapReduce 33
34 Fluxo dos Dados no Spark In-memory computation 34
35 Evolução: SQL on Hadoop Criação de uma camada para prover a utilização de SQL Motivação SQL é amplamente utilizados há muitos anos Dificuldade em escrever programas em MapReduce/Spark SQL é traduzido para funções MapReduce e RDDs HiveQL Spark SQL e Data Frames 35
36 Junção em MapReduce Map-side Join Junção na função Map Reduce-side Join Junção na função Reduce 36
37 Map-side Join Junção é realizada na função Map SELECT a, b FROM S, T WHERE S.c = T.c S s c a T t c b
38 Map-side Join Junção é realizada na função Map SELECT a, b FROM S, T WHERE S.c = T.c 1 t c b S T 1 s c a S T s c a t c b S s c a T t c b
39 Map-side Join Mapper 1 T 1 S 1 t c b s c a Mapper 2 S 2 T 2 s c a t c b Dados são par,cionados e ordenados pela chave de junção (atributo c) Blocos correspondentes de cada arquivo são processados por uma única tarefa Mapper A função Map é aplicada sobre um dos blocos (ex: S 1 ), enquanto o outro bloco correspondente (ex: T 1 ) é lido dentro da tarefa Mapper Cada Mapper possui os dados necessários para realizar a junção de seus blocos 39
40 Map-side Join Memory-backed Join Mapper 1 S 1 s c a T t c b Dados em memória primária local Tabela menor (ex: tabela T) é armazenada na memória primária local de cada nó Mapper 2 S 2 s c a T t c b Blocos da tabela maior (ex: S) são processados nos diferentes mappers Cada mappers tem acesso a todos os dados da tabela menor (ex: tabela T) 40
41 Reduce-side Join Mapper 1 entrada saída Mapper 2 entrada saída S s c a key value T t c b Key value s, t, s, t, s,6 7 s, t,5 4 t,6 4 idenb,=cador da tabela S atributo de junção c atributo a idenb,=cador da tabela T atributo de junção c atributo b 41
42 Reduce-side Join Mapper 1 Mapper 2 S s c a key value T t c b Key value s, t, s, t, s,6 7 s, t,5 4 t,6 4 Reducer 1 Reducer 2 key value s,4 7 s,5 8 t,4 2 t,4 1 Entrada do Reducer 1 key value s,6 7 s,6 4 t,6 4 Entrada do Reducer 2 t,5 4 42
43 Reduce-side Join Mapper 1 Mapper 2 S s c a key value T t c b Key value s, t, s, t, s,6 7 s, t,5 4 t,6 4 Reducer 1 Reducer 2 key value s,4 7 s,5 8 t,4 2 t,4 1 saída 7, 2 7, 1 8, 4 key value s,6 7 s,6 4 t,6 4 saída 7, 4 4, 4 t,5 4 43
44 Junção em MapReduce Map-side Join Desvantagem: aplicável quando o conjunto pode ser ordenado e par,cionado pelo atributo de junção Memory-backed Join Desvantagem: aplicável quando uma das tabelas é pequena e cabe na memória primária de cada nó Vantagem: processamento local, dispensando a fase de shu@ing Reduce-side Join Vantagem: aplicável em qualquer conjunto de tabelas Desvantagem: necessidade da fase de shu@ing 44
45 Data Warehouse Banco de dados voltado ao processamento analí,co para a tomada de decisão Modelagem mul,dimensional Medidas numéricas: objetos de análise Dimensões: perspec,va/contexto para as análises (fornecedor, cliente) F 1 F 2 C 4 C3 C2 C1 unidades vendidas (cliente) (fornecedor) (produto, cliente) P 3 P 2 P 1 P 3 P 2 P 1 (produto, fornecedor) C 4 C3 C2 C1 F 2 (produto) F 1 45
46 Esquema Estrela Star Schema Benchmark (SSB) 46
47 Consulta de Junção Estrela Consulta Q3.2 do SSB SELECT c_city, s_city, d_year, SUM(lo_revenue) as revenue FROM Lineorder, Supplier, Customer, Date WHERE lo_custkey = c_custkey AND lo_suppkey = s_suppkey AND lo_orderdate = d_datekey AND c_na,on = UNITED STATES AND s_na,on = UNITED STATES AND d_year >= 1992 AND d_year <= 1997 GROUP BY c_city, s_city, d_year ORDER BY c_city, s_city, d_year 47
48 Consulta de Junção Estrela Consulta Q3.2 do SSB SELECT c_city, s_city, d_year, SUM(lo_revenue) as revenue FROM Lineorder, Supplier, Customer, Date WHERE lo_custkey = c_custkey AND lo_suppkey = s_suppkey AND lo_orderdate = d_datekey AND c_na,on = UNITED STATES AND s_na,on = UNITED STATES AND d_year >= 1992 AND d_year <= 1997 GROUP BY c_city, s_city, d_year ORDER BY c_city, s_city, d_year cláusulas de junção cláusulas de 2ltragem 48
49 Sequência de Junções Binárias em MapReduce Um job MapReduce para cada junção Lineorder Supplier Job 1 Customer Job 2 Date Job 3 49
50 Algoritmo de Afra, e Ullman (2010) Proposta: realizar todas as junções em apenas um job S(s) U(s, t) T(t) O domínio do atributo s é dividido em A blocos, enquanto que o domínio de t é dividido em B blocos O número de processos reducers é dado por AB =0 B b i =0 b i =1 (0,0) (0,1) Supondo que A=3 e B=2, temos um total de 6 reducers A =1 =2 (1,0) (1,1) (2,0) (2,1) Cada processo reduce é iden,=cado por um par (, b i ) 50
51 Algoritmo de Afra, e Ullman (2010) Proposta: realizar todas as junções em apenas um job S(s) U(s, t) T(t) O processo reduce para o qual uma tupla deve ser enviada é iden,=cado por dois valores, a e b, determinados a par,r dos atributos s e t (atributos de junção) b i A=3 e B=2 b i 0 1 (0,0) (0,1) f(, b i ) = *B + b i (1,0) (1,1) 2 3 (2,0) (2,1)
52 Algoritmo de Afra, e Ullman (2010) Proposta: realizar todas as junções em apenas um job S(s) U(s, t) T(t) Para cada valor s i do atributo s, = mod(s i, A) Para cada valor t i do atributo t, b i = mod(t i, B) Reducer iden,=cado por uma função f(, b i ) = *B + b i b i 0 1 b i (0,0) (0,1) A=3 e B=2 (1,0) (1,1) 2 3 (2,0) (2,1)
53 Algoritmo de Afra, e Ullman (2010) Proposta: realizar todas as junções em apenas um job S(s) U(s, t) T(t) Cada tupla de S precisa ser enviada para todos os reducers iden,=cados por um determinado valor Cada tupla de T precisa ser enviada para todos os reducers iden,=cados por um um determinado valor b i b i A=3 e B=2 (0,0) (0,1) 0 1 b i (1,0) (1,1) 2 3 (2,0) (2,1)
54 Algoritmo de Afra, e Ullman (2010) Exemplo: s s t S(s) 4 10 S U T U(s, t) T(t) t Id do processo reduce f(, b i ) = *B + b i A=3 e B=2 Tuplas da tabela U são enviadas para um único reduce S U T s = 1 = 2 = 0 = 1 s t = 2 b i = 1 = 0 b i = 1 = 1 b i = 0 = 1 b i = 0 t b i = 1 b i = 1 b i = 0 b i = 0 b i (0,0) (0,1) (1,0) (1,1) (2,0) (2,1) 54
55 Algoritmo de Afra, e Ullman (2010) Exemplo: s s = 1 = 2 = 0 = 1 S U T s t S(s) 4 10 s t = 2 b i = 1 = 0 b i = 1 = 1 b i = 0 = 1 b i = 0 t S U T U(s, t) T(t) t b i = 1 b i = 1 b i = 0 b i = 0 Id do processo reduce f(, b i ) = *B + b i Cada tupla da tabela S é enviada para B reducers (todos reducers de uma mesma linha) (0,0) (0,1) (1,0) (1,1) (2,0) (2,1) b i A=3 e B=2 55
56 Algoritmo de Afra, e Ullman (2010) Exemplo: s s t S(s) 4 10 S U T U(s, t) T(t) t Id do processo reduce f(, b i ) = *B + b i A=3 e B=2 Cada tupla da tabela T é enviada para A reducers (todos reducers de uma mesma coluna) S U T s = 1 = 2 = 0 = 1 s t = 2 b i = 1 = 0 b i = 1 = 1 b i = 0 = 1 b i = 0 t b i = 1 b i = 1 b i = 0 b i = 0 (0,0) (0,1) (1,0) (1,1) (2,0) (2,1) b i 56
57 Algoritmo de Afra, e Ullman (2010) Reducer 0 Reducer 1 Reducer 2 Chave Valor Chave Valor Chave Valor S 3 null S 1 null S 3 null T 5 null S 4 null T 8 null T 7 null T 8 null T 10 null U 3,7 null T 10 null U 1,8 null U 4,10 null Reducer 3 Reducer 4 Reducer 5 Chave Valor Chave Valor Chave Valor S 1 null S 2 null S 2 null S 4 null T 8 null T 5 null T 5 null T 10 null T 7 null T 7 null U 2,5 null 57
58 Algoritmo de Afra, e Ullman (2010) Reducer 0 Reducer 1 Reducer 2 Chave Valor Chave Valor Chave Valor S 3 null S 1 null S 3 null T 5 null S 4 null T 8 null T 7 null T 8 null T 10 null U 3,7 null T 10 null U 1,8 null U 4,10 null Reducer 3 Reducer 4 Reducer 5 Chave Valor Chave Valor Chave Valor S 1 null S 2 null S 2 null S 4 null T 8 null T 5 null T 5 null T 10 null T 7 null T 7 null U 2,5 null 58
59 Algoritmo de Afra, e Ullman (2010) s t 3 7 Reducer 1 Reducer 2 Chave Valor Chave Valor S 3 null S 1 null T 5 null S 4 null T 7 null T 8 null U 3,7 null T 10 null U 1,8 null U 4,10 null s t s t 2 5 Reducer 5 Chave Valor S 2 null T 5 null T 7 null U 2,5 null 59
60 Algoritmo de Afra, e Ullman (2010) Vantagem realiza todas as junções em apenas um job MapReduce Desvantagem Replicação de dados das tabelas de dimensão (S e T no exemplo) Caso existam =ltros nas tabelas de dimensão, tuplas da tabela de fatos (U no exemplo) são enviadas para os reducers desnecessariamente Solução: uso de Bloom-Filters para =ltrar dados desnecessários da tabela de fatos 60
61 Bloom-Filters Construído sobre um conjunto de itens Vetor de bits de n posições Bits são setados para 1 por meio de k funções hash Desvantagem: falsos positivos Demo: 61
62 Oportunidades Data Scientist Alguns conhecimentos necessários Saber programação Ser capaz de criar modelos estatísticos Compreender as diferentes plataformas de Big Data Usualmente esse profissional é formado em Estatística, Matemática, Física ou Ciências da Computação Imagem: 62
63 Oportunidades 63
64 Oportunidades 64
65 Oportunidades 65
66 Oportunidades 66
67 Referências Afrati, F. N.; Ullman, J. D. Optimizing joins in a map-reduce environment. In: Proceedings of the 13th International Conference on Extending Database Technology (EDBT 2010), p
68 Obrigada 68
COMPUTAÇÃO EM NUVEM E PROCESSAMENTO MASSIVO DE DADOS Conceitos, tecnologias e aplicações
COMPUTAÇÃO EM NUVEM E PROCESSAMENTO MASSIVO DE DADOS Conceitos, tecnologias e aplicações Jaqueline Joice Brito Slides em colaboração com Lucas de Carvalho Scabora Sumário Computação em Nuvem Definição
Algoritmos de Junção Estrela em MapReduce
Algoritmos de Junção Estrela em MapReduce Jaqueline Joice Brito 09 de junho de 2015 1 Modelo Relacional Dados armazenados em um conjunto de tabelas Amplamente utilizado Junção Recuperação de dados de duas
BD e Cloud Gerenciamento de. Dados na Nuvem
CIn/UFPE In940 - Banco de Dados Gerenciamento de Dados na Nuvem Conceitos e Arquiteturas Chaina Santos Oliveira - cso2 Roteiro Motivação Computação em Nuvem Gerenciamento de dados na Nuvem Sistemas de
Haddop, MapReduce e Spark
Haddop, MapReduce e Spark Fabrício Olivetti de França Universidade Federal do ABC Tópicos 1. Conceitos Básicos 2. MapReduce 3. Spark 4. Transformações Básicas 5. Ações Básicas 1 Conceitos Básicos Hadoop
PrIntCloud. Disciplina: Procedência de Dados e Data Warehousing. Aluna: Shermila Guerra Santa Cruz. 16/04/13
PrIntCloud Disciplina: Procedência de Dados e Data Warehousing. Aluna: Shermila Guerra Santa Cruz. 16/04/13 Roteiro 1. Fundamentação Teórica A.- Cloud Computing B.- Hadoop C.- MapReduce D.- NoSql 2. Proposta
CURTA DURAÇÃO ANÁLISE DE BIG DATA. CARGA HORÁRIA: 80 horas COORDENAÇÃO: Prof. Dr. Adolpho Pimazoni Canton Prof.ª Drª Alessandra de Ávila Montini
CURTA DURAÇÃO ANÁLISE DE BIG DATA CARGA HORÁRIA: 80 horas COORDENAÇÃO: Prof. Dr. Adolpho Pimazoni Canton Prof.ª Drª Alessandra de Ávila Montini OBJETIVO O volume crescente de informação disponível nas
Segurança da Informação
INF 108 Segurança da Informação Computação em Nuvem Prof. João Henrique Kleinschmidt Introdução Centralização do processamento Surgimento da Teleinformática Década de 60 Execução de programas localmente
Introdução a Computação em Nuvem
Introdução a Computação em Nuvem Sistemas Distribuídos Mauro Lopes Carvalho Silva Professor EBTT DAI Departamento de Informática Campus Monte Castelo Instituto Federal de Educação Ciência e Tecnologia
PÓS-GRADUAÇÃO ANÁLISE DE BIG DATA
PÓS-GRADUAÇÃO ANÁLISE DE BIG DATA OBJETIVOS Este curso tem como objetivo principal apresentar de forma clara, objetiva e com aplicações reais como as metodologias de Big Data, Inteligência Artificial e
Computação em nuvem (Cloud Computing)
Computação em nuvem (Cloud Computing) Disciplina: Gestão da Tecnologia de Sistemas Professor: Thiago Silva Prates Computação em nuvem O termo computação em nuvem refere-se a modelo de capacitação na qual
Nuvem Computacional da UFABC
Nuvem Computacional da UFABC I Workshop @NUVEM Prof. Dr. Gustavo Sousa Pavani Universidade Federal do ABC (UFABC) 22 de Novembro de 2017 Gustavo S. Pavani (UFABC) Nuvem Computacional da UFABC 22 de Novembro
Introdução a Computação em Nuvem
Introdução a Computação em Nuvem Sistemas Distribuídos Mauro Lopes Carvalho Silva Professor EBTT DAI Departamento de Informática Campus Monte Castelo Instituto Federal de Educação Ciência e Tecnologia
Sistemas Operacionais II
Introdução Instituto de Informátic ca - UFRGS Introdução à Cloud Computing Aula 26 A Internet se popularizou como uma fonte de acesso a recursos Se encontra de tudo (documentos, vídeos, acesso a serviços
Bruno Antunes da Silva UFSCar - Sorocaba
Bruno Antunes da Silva UFSCar - Sorocaba Introdução HDFS Arquitetura Leitura e escrita Distribuição de nós Controle de réplicas Balancer MapReduce Conclusão Aplicações web com grandes quantidades de dados
MBA ANALYTICS EM BIG DATA
MBA ANALYTICS EM BIG DATA OBJETIVOS Este curso tem como objetivo principal apresentar de forma clara, objetiva e com aplicações reais como as metodologias de Big Data, Inteligência Artificial e Computação
Informática Parte 10 Prof. Márcio Hunecke
Escriturário Informática Parte 10 Prof. Márcio Hunecke Informática CONCEITOS DE MAPREDUCE E HDFS/HADOOP/YARN 2.7.4 Big Data O termo Big Data refere-se a um grande conjunto de dados armazenados e baseia-se
Introdução Ferramentas Unix MapReduce Outras Ferramentas. Batch Processing. Fabiola Santore. Universidade Federal do Paraná
Fabiola Santore Universidade Federal do Paraná Sumário 1. Introdução 2. Ferramentas Unix 2.1 Análise de log 2.2 Filosofia Unix 3. MapReduce 3.1 Procedimento 3.2 Reduce: Joins e Agrupamento 3.3 Análise
Carlos Eduardo de Carvalho Dantas
Cloud Computing Carlos Eduardo de Carvalho Dantas (carloseduardocarvalhodantas@gmail.com) Nós somos o que repetidamente fazemos. Excelência, então, não é um ato, mas um hábito. Aristóteles. Conectividade
Gerenciamento e Interoperabilidade de Redes. Computação em Nuvem
Gerenciamento e Interoperabilidade de Redes Computação em Nuvem Introdução Centralização do processamento Surgimento da Teleinformática Década de 60 Execução de programas localmente Computadores Pessoais
Um Servidor Escalável para Bases Massivas de
Um Servidor Escalável para Bases Massivas de Dados Geográficos Leandro da Silva Santos Orientador: Tiago Garcia de Senna Carneiro Co-orientador: Ricardo Augusto Rabelo Oliveira Departamento de Computação
FastBit e Índice Bitmap de Junção. Anderson Chaves Carniel Prof. Thiago Luís Lopes Siqueira
FastBit e Índice Bitmap de Junção Anderson Chaves Carniel Prof. Thiago Luís Lopes Siqueira AGENDA Introdução Instalação Índice Bitmap de Junção Construção do índice Consultas sobre o índice Introdução
Big Data Open Source com Hadoop
Big Data Open Source com Hadoop Palestrante: Marcio Junior Vieira marcio@ambientelivre.com.br Realização: Marcio Junior Vieira 14 anos de experiência em informática, vivência em desenvolvimento e análise
QUESTIONÁRIO SOBRE HADOOP LEITURA DO MATERIAL FORNECIDO ALUNO/GRUPO ;
QUESTIONÁRIO SOBRE HADOOP LEITURA DO MATERIAL FORNECIDO ALUNO/GRUPO ; LEIA O MATERIAL ANTES DE FAZER O EXEMPLO DIDÁTICO. AS QUESTÕES ABAIXO PODEM SER RESPONDIDAS, USANDO, PREFERENCIALMENTE, SUA PRÓPRIAS
Teste como Serviço (TaaS) na Computação em Nuvem
Teste como Serviço (TaaS) na Computação em Nuvem Ricardo Ramos de Oliveira ICMC-USP E-mail: ricardoramos@icmc.usp.br Orientador: Prof. Dr. Adenilso da Silva Simao 1/64 Apresentação Ricardo Ramos de Oliveira
SISTEMAS OPERACIONAIS
SISTEMAS OPERACIONAIS Introdução a Sistemas Operacionais Andreza Leite andreza.leite@univasf.edu.br Plano de Aula Introdução aos Sistemas Operacionais Fundamentação Teórica Evolução Histórica Características
CICN Centro de Inovação em Computação em Nuvem Segurança de Dados em Nuvem. Apresentação para:
CICN Centro de Inovação em Computação em Nuvem Segurança de Dados em Nuvem Apresentação para: Sumário CICN Centro de Inovação na Computação em Nuveml Computação em Nuvem Segurança de Dados na Nuvem Ficha
Informática. Cloud Computing e Storage. Professor Márcio Hunecke.
Informática Cloud Computing e Storage Professor Márcio Hunecke www.acasadoconcurseiro.com.br Informática COMPUTAÇÃO EM NUVEM Cloud Computing ou Computação em Nuvem pode ser definido como um modelo no
Arquiteturas para SGBD. Laboratório de Bases de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri
Arquiteturas para SGBD Laboratório de Bases de Dados Arquitetura Centralizada Terminal responsável pela exibição dos resultados sem capacidade de processamento Computador central (mainframe) responsável
Governança e Big Data. Celso Poderoso
Governança e Big Data Celso Poderoso cpoderoso@microstrategy.com Celso Poderoso Formação Acadêmica: Economista Especialista em Sistemas de Informação Mestre em Tecnologia (Grid Computing/Cloud Computing)
BCD29008 Banco de dados
BCD29008 Banco de dados Prof. Emerson Ribeiro de Mello Instituto Federal de Santa Catarina IFSC campus São José mello@ifsc.edu.br http://docente.ifsc.edu.br/mello/bcd 21 de fevereiro de 2018 1/24 Apresentação
BCD29008 Banco de dados
BCD29008 Banco de dados Prof. Emerson Ribeiro de Mello Instituto Federal de Santa Catarina IFSC campus São José mello@ifsc.edu.br http://docente.ifsc.edu.br/mello/bcd 31 de julho de 2017 1/24 Apresentação
Computação em Grid e em Nuvem
Computação em Grid e em Nuvem Grids Computacionais Características Infraestrutura Produtos Exemplos Computação em Nuvem Características Modelos Infraestrutura Exemplos 1 Grids Computacionais Definição
Aula 02. Evandro Deliberal
Aula 02 Evandro Deliberal evandro@deljoe.com.br https://www.linkedin.com/in/evandrodeliberal Data Warehouse; Ambiente de Data Warehouse; Processos e ferramentas envolvidas; Arquiteturas de DW; Granularidade;
Banco de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri. Banco de Dados Processamento e Otimização de Consultas
Processamento e Otimização de Consultas Banco de Dados Motivação Consulta pode ter sua resposta computada por uma variedade de métodos (geralmente) Usuário (programador) sugere uma estratégia para achar
Apache Spark I NTRODUÇÃO À C OMPUTAÇÃO PARALELA E D ISTRIBUÍDA
Apache Spark CARLOS EDUARDO MART INS RELVAS I NTRODUÇÃO À C OMPUTAÇÃO PARALELA E D ISTRIBUÍDA Apache Hadoop Mudou a forma de armazenamento e processamento de dados em um cluster de computadores, trazendo
Nuvem e Virtualização Redes Programáveis
Nuvem e Virtualização Redes Programáveis Visão Geral da Nuvem A computação em nuvem envolve muitos computadores conectados em uma rede, possibilitando que eles sejam fisicamente localizados em qualquer
AVALIAÇÃO DE DESEMPENHO DE PROCESSAMENTO DISTRIBUÍDO EM LARGA ESCALA COM HADOOP
AVALIAÇÃO DE DESEMPENHO DE PROCESSAMENTO DISTRIBUÍDO EM LARGA ESCALA COM HADOOP Débora Stefani Lima de Souza dsls@cin.ufpe.br Orientador: Dr. Paulo Romero Martins Maciel INTRODUÇÃO Nem sempre os dados
Armazenamento Distribuído de Dados Seguros para Efeito de Sistemas de Identificação Civil
1 Armazenamento Distribuído de Dados Seguros para Efeito de Sistemas de Identificação Civil Acadêmico: Matheus Magnusson Bolo Disciplina: Segurança Computacional 2 Contexto WGID IV Workshop de Gestão de
Algoritmos e Estruturas de Dados I. Universidade Federal de São João del-rei Pedro Mitsuo Shiroma Sala 119 Bloco 3
Algoritmos e Estruturas de Dados I Universidade Federal de São João del-rei Pedro Mitsuo Shiroma Sala 119 Bloco 3 História da computação ENIAC (1946-1955) 5000 op/seg 30 toneladas; 18 mil válvulas; 140
Arquitetura dos SBDs Características e Benefícios Visão Geral de Projeto de BD MER: Entidades e Atributos Atividade.
Banco de Dados Aula 1.4 - Sistemas de Banco de Dados Bruno Neiva Moreno Instituto Federal do Rio Grande do Norte Campus Nova Cruz bruno.moreno@ifrn.edu.br 1/25 Arquitetura dos SBDs 2/25 Objetivos dos SGBDs
Infraestrutura computacional para suporte de aplicações de big data na área da Saúde
Infraestrutura computacional para suporte de aplicações de big data na área da Saúde Maurício Barreto Davide Rasella Marcos Barreto Centro Interdisciplinar em Ciências e Tecnologia da Informação Infraestrutura
BIG DATA: UMA INTRODUÇÃO. Prof. Ronaldo R. Goldschmidt
BIG DATA: UMA INTRODUÇÃO Prof. Ronaldo R. Goldschmidt Instituto Militar de Engenharia Seção de Engenharia de Computação (SE/8) ronaldo.rgold@ime.eb.br / ronaldo.rgold@gmail.com 70% 60% 50% 40% 30% 20%
CLOUD COMPUTING: O USO DA PLATAFORMA AWS E ARMAZENAMENTO NO AMAZON S3.
CLOUD COMPUTING: O USO DA PLATAFORMA AWS E ARMAZENAMENTO NO AMAZON S3. Michele Marques Costa 1,2, WillianFressati 2 ¹Universidade Paranaense (Unipar) Paranavaí PR Brasil marquesmih04@gmail.com wyllianfressati@unipar.br
Pontos Críticos na Especificação de Serviços Computação em Nuvem
DEBATE 2 Pontos Críticos na Especificação de Serviços Computação em Nuvem MEDIADOR: Prof. Geraldo Loureiro - IBGP Debatedores Breno Gustavo da Costa TCU Iran Martins Porto Júnior Serpro Waldeck Araújo
Cloud Computing. Prof. Marcio R. G. de Vazzi Analista De sistemas Especialista em Gestão Mestrando em Educação
Cloud Computing Prof. Marcio R. G. de Vazzi Analista De sistemas Especialista em Gestão Mestrando em Educação www.vazzi.com.br profmarcio@vazzi.com.br Your Logo Estrutura da palestra Estrutura da T.I.
Framework para Deduplicação de Dados com Apache Spark
Framework para Deduplicação de Dados com Apache Spark César Magrin - magrin@inf.ufpr.br Disciplina: Metodologia Científica - CI860 Professor: Alexandre Direne Sumário 1. Qualidade de Dados 2. Deduplicação
MapReduce Mapeando e reduzindo
MapReduce Mapeando e reduzindo Prof. Fabrício Olivetti de França Universidade Federal do ABC Motivação Vimos até então que nosso maior problema é a quantidade de dados. O processamento não pode ser distribuído
Escalonamento de Aplicações BoT em Ambiente de Nuvem
Escalonamento de Aplicações BoT em Ambiente de Nuvem Maicon Ança dos Santos 1 Fernando Angelin 1 Gerson Geraldo H. Cavalheiro 1 1 Universidade Federal de Pelotas {madsantos,fangelin,gerson.cavalheiro}@inf.ufpel.edu.br
Alcides Pamplona
Alcides Pamplona alcides.pamplona@gmail.com Objetivos Gerais Capacitar o aluno a compreender os paradigmas dos Bancos de Dados Distribuídos, visando sua aplicação na análise e projeto de bancos de dados
Conceitos relativos a Banco de Dados & Modelos de Informação de Banco de Dados. Introdução
Conceitos relativos a Banco de Dados & Modelos de Informação de Banco de Dados Prof. Anderson Henriques Introdução A quantidade de informação relevante para a tomada de decisões nas organizações é muito
Aula 01 Conceito de Banco de Dados e SGBD
Aula 01 Conceito de Banco de Dados e SGBD Dado: conjunto de símbolos arranjados a fim de representar a informação fora da mente humana. Elemento de Dado: subconjunto de símbolos que compõem um dado com
Computação em Nuvens
Computação em Nuvens André Lucio de Oliveira Maria das Graças Araújo Chapetta Angélica Machareth de Andrade Lorran Borges dos Santos Pimenta Carlos Thiago RESUMO O objetivo deste trabalho é apresentar
Tecnologias da Informação TI /2 Material de apoio ler bibliografia recomendada (Stair)
Objetivos: Hardware, Software e Sistemas de gerenciamento de Banco de dados. Capítulos 3, 4 e 5 Stair. Hardware (HW) Qualquer maquinário que assiste nas atividades de: Entrada Processamento de um Sistema
SB-index: Um Índice Espacial baseado em Bitmap para Data Warehouse Geográfico
SB-index: Um Índice Espacial baseado em Bitmap para Data Warehouse Geográfico Thiago Luís Lopes Siqueira Ricardo Rodrigues Ciferri Orientador (UFSCar) Valéria Cesário Times Co-orientadora (UFPE) Cristina
BIG DATA PODEMOS DIZER QUE SÃO DADOS GRANDES?
1 BIG DATA PODEMOS DIZER QUE SÃO DADOS GRANDES? Deyvirson Mendonça SUMÁRIO Definição Os Vs do Big Data Desafios Hadoop BD e Big Data PARA COMEÇAR O QUE SÃO DADOS? Informações diversas, que podem ser organizadas
Pós-Graduação em Computação Distribuída e Ubíqua
Pós-Graduação em Computação Distribuída e Ubíqua INF628 - Engenharia de Software para Sistemas Distribuídos Arquiteturas para Cloud Computing Sandro S. Andrade sandroandrade@ifba.edu.br Objetivos Apresentar
O Uso de Infraestruturas de Computação em Nuvem Para
O Uso de Infraestruturas de Computação em Nuvem Para Aplicações Web Wesley R. Oliveira 1, Mário Meireles Teixeira 1 1 Laboratório de Sistemas Web Avançados (LAWS) 2 Departamento de Informática Universidade
Projeto de Sistemas Distribuídos. Considerações
Projeto de Sistemas Distribuídos Considerações Projeto de TI em Camadas Infraestrutura Gestão Integração Colaboração Hardware Software: sistemas operacionais, SGBDs, middleware (serviços), middleware (integração
PMR3507 Fábrica digital
LSA Laboratório de Sistemas de Automação www.pmrlsa.poli.usp.br PMR3507 Fábrica digital Cloud computing Escola Politécnica da Universidade de São Paulo Departamento de Engenharia Mecatrônica e de Sistemas
ARMAZENAMENTO E PROCESSAMENTO DE BANCOS DE DADOS RELACIONAIS
ARMAZENAMENTO E PROCESSAMENTO DE BANCOS DE DADOS RELACIONAIS EDUARDO C. DE ALMEIDA 1 EDUARDO@INF.UFPR.BR UFPR LABORATÓRIO DE BANCO DE DADOS VISÃO GERAL DA APRESENTAÇÃO Entender como um banco de dados aparenta
São Paulo. August,
São Paulo August, 28 2018 HISTÓRIAS REAIS SOBRE COMO A LÓGICA ANALÍTICA DE DADOS ESTÁ IMPULSIONANDO A TRANSFORMAÇÃO DIGITAL EMILIO SILVEIRA CLIENT SOLUTION EXECUTIVE DELL EMC EMILIO.SILVEIRA@DELL.COM
GESTÃO DA TECNOLOGIA DA INFORMAÇÃO
GESTÃO DA TECNOLOGIA DA INFORMAÇÃO Aula 3 Computação em Nuvem Bacharelado em Ciência da Computação Professor MSc. Ariel da Silva Dias Complexo Educacional FMU Computação em Nuvem Por que Nuvem? Um Pouco
ARQUITETURA DE SISTEMAS DISTRIBUÍDOS. Aula 1- Introdução aos Sistemas Distribuídos
Aula 1- Introdução aos Sistemas Distribuídos OBJETIVOS DA DISCIPLINA: Compreender os conceitos de Sistemas Distribuídos; Conhecer os principais modelos de arquitetura; Entender a importância dos conceitos
Banco de dados na Web
Banco de dados na Web 4º TSI Jonathan de Matos Conteúdo Conceitos fundamentais diferenças entre mysql e postgresql programas clientes: psql - pgadmin 3 - phppgadmin terminal interativo psql: comandos linguagem
Aula 2 BD Introdução. Profa. Elaine Faria UFU
Aula 2 BD Introdução Profa. Elaine Faria UFU - 2017 Motivação A quantidade de informação disponível está crescendo exponencialmente Os dados e as informações tem um papel importante para as organizações
Linear para o Problema de Escalonamento de Workflows em Múltiplos Provedores de Nuvem
Discretização do Tempo na Utilização de Programação Linear para o Problema de Escalonamento de Workflows em Múltiplos Provedores de Nuvem Thiago A. L. Genez, Luiz F. Bittencourt, Edmundo R. M. Madeira
COMPUTADORES NAS EMPRESAS Cloud Computing Prof. Reginaldo Brito
COMPUTADORES NAS EMPRESAS Prof. Reginaldo Brito Os computadores são essenciais para enfrentar o desafio da concorrência global, na qual as empresas precisam ser eficientes e ágeis e tem de produzir produtos
Conceitos e arquitetura do banco de dados. Andre Noel
Conceitos e arquitetura do banco de dados Andre Noel SGBD SGBD cliente/servidor SGBD SGBD cliente/servidor Módulo cliente SGBD SGBD cliente/servidor Módulo cliente Módulo servidor Abstração de dados Quais
Tópicos Especiais em Informática Fatec Indaiatuba
Inteligência de Negócios Fatec Indaiatuba Prof. Piva Compreender as definições e conceitos básicos do Data Warehouse (DW) Entender as arquiteturas do DW Descrever os processos utilizados no desenvolvimento
Servidor de Armazenamento em Nuvem
Aula 10 Servidor de Armazenamento em Nuvem Prof. Roitier Campos Gonçalves Cloud Computing modelo tecnológico que habilita de forma simplificada o acesso on-demand a uma rede, a qual possui um pool de recursos
Pipelines ETL. Aplicação de conceitos de DW para a construção de pipelines de extração, transformação e carregamento de dados.
Pipelines ETL Aplicação de conceitos de DW para a construção de pipelines de extração, transformação e carregamento de dados Carlos Baqueta Contextualização Contextualização Quem sou eu? (momento filosófico)
INTERNET DAS COISAS NAS NUVENS
INTERNET DAS COISAS NAS NUVENS por Tito Ocampos Abner Carvalho Cleiton Amorim Hugo Brito Agenda Introdução Computação em nuvem + Internet das Coisas Infraestrutura como Serviço Plataforma como Serviço
Informática Parte 11 Prof. Márcio Hunecke
Escriturário Informática Parte 11 Prof. Márcio Hunecke Informática FERRAMENTAS DE INGESTÃO DE DADOS (SQOOP 1.4.6, FLUME 1.7.0, NIFI 1.3.0 E KAFKA 0.11.0) Visão geral sobre os quatro componentes Fazem
Sistemas Distribuídos. Plano de Curso. Plano de Curso 04/03/12 ! EMENTA:
Sistemas Distribuídos Prof. Msc. André Luiz Nasserala Pires nassserala@gmail.com! EMENTA: Plano de Curso! Conceitos. Comunicação entre processos (IPC). Programação de aplicações cliente- servidor. Sincronização
Informática para Concursos
Informática para Concursos Professor: Thiago Waltz Computação e Armazenamento na Nuvem a) A Nuvem A nuvem é um dos apelidos aplicados a um determinado ambiente de rede. Existem nuvens com acesso restrito
MEIC Sistemas Distribuídos
MEIC Sistemas Distribuídos 2 de março de 2017 Rodrigo Miragaia Rodrigues Baseado nos slides apresentados por Paulo Ferreira Departamento de Engenharia Informá3ca 2 Fonte: Malte Schwarzkopf. Operating system
Modelagem de Dados MODELAGEM DE DADOS. Sistemas de Banco de Dados. Profa. Rosemary Melo
MODELAGEM DE DADOS Sistemas de Banco de Dados Profa. Rosemary Melo SISTEMAS DE BANCO DE DADOS OBJETIVOS Apresentar os conceitos fundamentais de Sistemas de Banco de Dados. Principais componentes dos SGBDs
Uma introdução ao Apache Hama
Uma introdução ao Apache Hama O modelo BSP nas nuvens Thiago Kenji Okada 1 1 Departamento de Ciências da Computação (DCC) Instituto de Matemática e Estatística (IME) Universidade de São Paulo (USP) MAC5742
Bases de Dados Distribuídas
Bases de Dados Distribuídas Pablo Vieira Florentino 27/10/2006 Agenda Contexto Arquitetura de SGBDs Distribuído Projeto de Bases de dados Distribuídas Processamento Distribuído de consultas Questões atuais
Universidade Federal do Maranhão
Universidade Federal do Maranhão Banco de Dados II Banco de Dados Distribuídos Carlos Eduardo Portela Serra de Castro * Sumário Introdução Vantagens Projeto de Bases de Dados Distribuídas Classificação
Capítulo 9: Sistemas de banco de dados
Capítulo 9: Sistemas de banco de dados Ciência da computação: Uma visão abrangente 11a Edition by J. Glenn Brookshear Copyright 2012 Pearson Education, Inc. Database (Banco de Dados) Uma coleção de dados
Bancos de Dados Distribuídos. Bancos de Dados Distribuídos. Conteúdo. Motivação. Motivação. Introdução aos BDs Distribuídos.
Bancos de Dados Distribuídos Prof. Frank Siqueira Departamento de Informática e Estatística Universidade Federal de Santa Catarina Conteúdo Introdução aos BDs Distribuídos Processamento de Consultas Distribuídas
Banco de Dados. Introdução. Profa. Flávia Cristina Bernardini
Banco de Dados Introdução Profa. Flávia Cristina Bernardini * Slides Baseados no material elaborado pelos professores Eduardo R. Hruschka, Cristina D. A. Ciferri e Elaine Parros Machado Motivação Operações
Tópicos Especiais em Redes - TER. Cloud Computing. Prof. Dayvidson Bezerra Contato:
Tópicos Especiais em Redes - TER Cloud Computing Prof. Dayvidson Bezerra Contato: dayvidsonbezerra@gmail.com O que é Computação na Nuvem? O que é Computação na Nuvem? Segundo o NIST, Cloud Computing é
Capítulo 7: SPARQL Processamento de consulta em nuvem
Capítulo 7: SPARQL Processamento de consulta em nuvem 01/11/2016 Acadêmico: Maicou Moor Cândido de Lima Professora: Carmem Satie Hara Introdução Neste capítulo concentra-se em recentes propostas de técnicas
Técnicas de Big Data e Projeção de Medidas de Risco para de Negociação em Alta Frequência
12º CONTECSI Conferência Internacional sobre Sistemas de Informação e Gestão de Tecnologia Técnicas de Big Data e Projeção de Medidas de Risco para de Negociação em Alta Frequência Alcides Carlos de Araújo
14/03/12. Fragmentação Vertical. Projeto de Bancos de Dados Distribuídos (Parte 02) Complexidade. Objetivo. Complexidade. Abordagens Heurísticas
Fragmentação Vertical Projeto de Bancos de Dados Distribuídos (Parte 02) IN1128/IF694 Bancos de Dados Distribuídos e Móveis Ana Carolina Salgado acs@cin.ufpe.br Bernadette Farias Lóscio bfl@cin.ufpe.br
ORACLE DATABASE CLOUD. Anthony Baldavia
1 ORACLE DATABASE CLOUD Anthony Baldavia anthony.baldavia@dbacorp.com.br 2 DESCRIÇÃO Nesse artigo falaremos sobre Oracle Database Cloud, uma nova tendência para banco de dados Oracle. Mostraremos novas
Arquivo. Banco de Dados. Organização dos Arquivos. Banco de Dados. Banco de Dados. Introdução a Computação
Arquivo Introdução a Computação Arquivos e Arquivo agrupamento organizado de dados que guardam entre si uma relação lógica e estruturada Registro conjunto de informações referentes a um elemento de um
Base de Dados. Base de Dados. Apresentação da Cadeira Julho, Docente: Célio B. sengo. Ano Lectivo Departamento de Informática
Base de Dados Apresentação da Cadeira Julho, 2013 Docente: Célio B. sengo Ano Lectivo 2013 Informática Técnica Prática Teórica Aplicada Componentes de Hardware Algorítmos Teoria de Autômatos Sistemas de
Sistemas Distribuídos. Ricardo Ribeiro dos Santos
Sistemas Distribuídos Ricardo Ribeiro dos Santos ricrs@ec.ucdb.br Curso de Engenharia de Computação UCDB Julho/2003 Tópicos Características de um SD Modelos arquiteturais para implementação de SD Características
PLANO DE CONTINGÊNCIA. Coordenação de Tecnologia da Informação - Exercício 2019
PLANO DE CONTINGÊNCIA Coordenação de Tecnologia da Informação - Exercício 2019 Plano de Contingência Continuidade dos Serviços de Informática Propósito Estabelecer um plano de recuperação após desastres
SGBD NoSQL. Débora Souza in940
SGBD NoSQL Débora Souza in940 dsls@cin.ufpe.br Roteiro Introdução Motivação O que é NoSQL? Modelos de dados NoSQL Chave-valor Colunas Documentos Grafos Quem usa que modelo de dados? Como escolher um modelo?
Trilha Cloud Computing
Trilha Cloud Computing Palestra: Estratégia para adoção de Cloud Computing Viviam Ribeiro Especialista em Gestão de TI Globalcode Open4education Globalcode Open4education Viviam Ribeiro ESPECIALISTA EM