Big Data e Hadoop A nova fronteira para inovação

Tamanho: px
Começar a partir da página:

Download "Big Data e Hadoop A nova fronteira para inovação"

Transcrição

1 Big Data e Hadoop A nova fronteira para inovação Fabio Velloso

2 Fabio Velloso Bio Bacharel em Ciência da Computação - UFSCar MBA - FGV Programador Java desde 1996 Fundador do SouJava Gerente de Arquitetura de Sistemas Telefonica/VIVO Service Design Thinker

3 Agenda Big Data e Hadoop Contexto Definição e características Cenários de uso e aplicações Hadoop Entrada de dados Serialização Automatização MapReduce Patterns

4 Big Data Contexto

5 Big Data Contexto

6 Big Data Contexto

7 Big Data Contexto

8 Big Data Contexto Explosão de dispositivos conectados na Internet

9 Big Data Contexto Explosão de dispositivos conectados na Internet Estimativa entre 16 e 50 bilhões em 2020

10 Big Data Contexto Explosão de dispositivos conectados na Internet Estimativa entre 16 e 50 bilhões em 2020 Mais dispositivos

11 Big Data Contexto Explosão de dispositivos conectados na Internet Estimativa entre 16 e 50 bilhões em 2020 Mais dispositivos Mais aplicações

12 Big Data Contexto Explosão de dispositivos conectados na Internet Estimativa entre 16 e 50 bilhões em 2020 Mais dispositivos Mais aplicações Mais conteúdo

13 Big Data Contexto March 8, 2012

14 Big Data Contexto 20 Horas de vídeo enviadas por minuto 24 Petabytes processados diariamente 50 Milhões de twe&s por dia 72.9 produtos vendidos por segundo 1.3 Exabytes trafegados internet móvel 2.9 Milhões de s por segundo March 8, 2012

15 Big Data Contexto

16 Big Data Contexto

17 Big Data Universidade do Texas

18 Big Data Definição Conjuntos de dados muito grandes, dinâmicos e complexos para serem processados por ferramentas ou processos tradicionais

19 Big Data Definição Conjuntos de dados muito grandes, dinâmicos e complexos para serem processados por ferramentas ou processos tradicionais Dificuldades: capturar, armazenar, buscar, compartilhar, analisar e visualizar

20 Big Data Definição Conjuntos de dados muito grandes, dinâmicos e complexos para serem processados por ferramentas ou processos tradicionais Dificuldades: capturar, armazenar, buscar, compartilhar, analisar e visualizar Big Data não é sobre a geração de dados e sim sobre o seu processamento

21 Big Data Características

22 Big Data Características Volume Petabytes, Zettabytes

23 Big Data Características Volume Variedade Petabytes, Zettabytes Dados não estruturados Dados semi-estruturados Diferentes fontes Diferentes formatos

24 Big Data Características Volume Variedade Velocidade Petabytes, Zettabytes Dados não estruturados Dados semi-estruturados Diferentes fontes Diferentes formatos Processamento de dados Armazenamento Análise de dados

25 Big Data Características V 3 Volume Variedade Velocidade Petabytes, Zettabytes Dados não estruturados Dados semi-estruturados Diferentes fontes Diferentes formatos Processamento de dados Armazenamento Análise de dados

26 Big Data Características V 3 Volume Variedade Velocidade Complexidade Petabytes, Zettabytes Dados não estruturados Dados semi-estruturados Diferentes fontes Diferentes formatos Processamento de dados Armazenamento Análise de dados Tipos de dados Composição Formatos Regras

27 Big Data Mudanças Volume: Terabytes Zettabytes Variedade: estruturado estruturado e não estruturado Velocidade: batch streaming de dados

28 Agenda Big Data e Hadoop Contexto Definição e características Cenários de uso e aplicações Hadoop Entrada de dados Serialização Automatização MapReduce Patterns

29 Big Data Cenários de uso e aplicações

30 Big Data Cenários de uso e aplicações Fast fashion Pouca quantidade e alta customização Baixo Lead Time Várias oficinas, vários estilos e opções Lojas integradas, ERP, RFID e banda larga Identifica tendências Novas tendências disponíveis em 30 dias

31 Big Data Cenários de uso e aplicações Bens de consumo: análise de redes sociais para maior conhecimento do cliente, influência, comportamento, ofertas direcionadas e aumento de vendas Setor público: melhoria de vida da população, transito, melhor uso de água e energia, controle de enchentes e tragédias naturais com identificação de padrões (Global Pulse) Setor financeiro: melhoria de ofertas, retenção, vendas cruzadas, detecção de fraudes e gerenciamento de riscos

32 Big Data Cenários de uso e aplicações Indústria: logística otimizada, inventário com monitoração de RFID e mapeamento de dados de GPS para agilizar a eficiência da cadeia de abastecimento Comércio eletrônico: análise de navegação, cliques e perfil, melhorando experiência do usuário em diversos canais com melhores ofertas sugeridas Saúde: análise de genoma, dados de pesquisas e histórico de pacientes e comportamentos resultando em melhoria de diagnóstico, tratamento e remédios mais eficazes University of Ontario, diagnósticos em recém-nascidos

33 Case Facebook 30 PB em mil jobs MapReduce por dia 65 milhões de arquivos no HDFS 3000 vezes o tamanho da Biblioteca do Congresso US HDFS, MapReduce, Zookeeper e Hive (99% dos Jobs) 100 PB em 2012 Consultas Ad Hoc, Dashboards para BI Reports para os anunciantes e recomendações 7/24/12 11 Dia de Java - UFSCar 24/25 de agosto de 2012

34 Agenda Big Data e Hadoop Contexto Definição e características Cenários de uso e aplicações Hadoop Entrada de dados Serialização Automatização MapReduce Patterns

35 Apache Hadoop Definição

36 Apache Hadoop Definição Framework open source em Java para processar um grande volume de dados em cluster de hardware commodity

37 Apache Hadoop Características Processamento distribuído Escala linearmente (1 a milhares de servidores - 10k) Alta disponibilidade Hardware commodity (redundância por replicação) Processamento e armazenamento em cada servidor Processamento batch e leitura intensiva Modelo simples de programação

38 Hadoop Componentes básicos

39 Hadoop Componentes básicos Responsável por distribuir e armazenar dados no cluster

40 Hadoop Componentes básicos Responsável por distribuir e armazenar dados no cluster Responsável pelo Processamento dos dados

41 Hadoop HDFS Dados são divididos e armazenados em blocos distribuídos nos múltiplos nós do cluster Bloco é o volume mínimo de informação a ser lida ou escrita. Blocos de 64Mb a 128Mb Único namespace para todo o cluster Cada bloco é replicado múltiplas vezes (3 padrão) Processamento e armazenamento em cada servidor Réplicas em diferentes nós (tratamento de falhas, confiabilidade e disponibilidade)

42 Hadoop Master e Slave node Namenode é o master, servidor de metadados da árvore de diretórios e arquivos Datanode é o worker ou slave, armazena os dados Namenode conhece Datanodes, blocos e localização JobTracker (scheduler) e TaskTracker (task em execução) Master Node Slave node Namenode Secondary Namenode JobTracker Tasktracker Datanode Java Virtual Machine Java Virtual Machine

43 HDFS Data Storage arquivo.txt Name Node 1 139Mb { 64Mb 64Mb 15Mb { { { bloco_xxxxx bloco_yyyyy bloco_zzzzz Name Node 2 Name Node 3 NameNode Name Node 4 HDFS divide o dado em blocos de 64MB e os distribui nos DataNodes Hadoop: The Definitive Guide

44 Hadoop MapReduce Framework para processamento distribuído de grandes volumes de dados Utiliza os blocos armazenados no HDFS Pares chave-valor como input e output Algoritmos de análise são automáticamente paralelos Java, Ruby, Python e C++ Escala linearmente: Tempo no cluster = tempo em um core /total de cores

45 Etapas Processamento Mapeamento Redução Map Worker Reduce Worker Dados de Entrada Map Worker Dados Intermediários Reduce Worker Dados de saída Map Worker Reduce Worker

46 Etapas Processamento Mapeamento Redução Map Worker Reduce Worker Java for all Dados de Entrada Map Worker Dados Intermediários Reduce Worker Dados de saída Map Worker Reduce Worker

47 Etapas Processamento Mapeamento Redução Map Worker Reduce Worker Java for all Dados de Entrada Map Worker Dados Intermediários Reduce Worker Dados de saída Hadoop for all Map Worker Reduce Worker

48 Etapas Processamento Mapeamento Redução Map Worker Reduce Worker Java for all Dados de Entrada Map Worker Dados Intermediários Reduce Worker Dados de saída Hadoop for all Map Worker Reduce Worker Hello World Java

49 Etapas Processamento Mapeamento Redução Map Worker Java for all all 1 for 1 Java 1 Reduce Worker Dados de Entrada Map Worker Dados Intermediários Reduce Worker Dados de saída Hadoop for all Map Worker Reduce Worker Hello World Java

50 Etapas Processamento Mapeamento Redução Map Worker Java for all all 1 for 1 Java 1 Reduce Worker Dados de Entrada Map Worker Dados Intermediários Reduce Worker Dados de saída Hadoop for all all 1 Map Worker for 1 Hadoop 1 Reduce Worker Hello World Java

51 Etapas Processamento Mapeamento Redução Map Worker Java for all all 1 for 1 Java 1 Reduce Worker Dados de Entrada Map Worker Dados Intermediários Reduce Worker Dados de saída Hadoop for all all 1 Map Worker for 1 Hadoop 1 Reduce Worker Hello World Java Hello 1 Java 1 World 1

52 Etapas Processamento Mapeamento Redução Map Worker all 1 Reduce Worker Java for all for 1 Java 1 Dados de Entrada Map Worker Dados Intermediários Reduce Worker Dados de saída Hadoop for all Map Worker Hello World Java all 1 for 1 Hadoop 1 Hello 1 Java 1 World 1 Reduce Worker Hadoop 1 Hello 1 Java 2 World 1 all 2 for 2

53 Hadoop Map Função C1V1 -> list (C2V2) Entrada e saída são pares chave-valor Executa no mesmo nó onde o dado esta armazenado Interface Mapper é um tipo genérico 4 parâmetros: chaves e textos de entrada e saída Método map() Saída é agrupada e classificada pela chave

54 Hadoop Reduce C2, iter(v2)-> list (C3V3) Entrada é a saída do mapeamento Entrada e saída são pares chave-valor Tipos de entrada são iguais aos de saída do Map Em Java a interface Reducer é um tipo genérico Método reduce()

55 Hadoop Ecosistema e Ferramentas PIG (Data Flow) (SQL) Import e export de banco de dados Logs Zookeeper (Coordenação) (Column DB) Avro (Serialização)

56 Hadoop Arquitetura integrada Aplicações BI e Ferramentas de visualização BIG DATA NoSQL Hadoop NoSQL Não Hadoop Banco MPP e RDBMS DW ETL e Integração de Dados Dados estruturados e não estruturados

57 Agenda Big Data e Hadoop Contexto Definição e características Cenários de uso e aplicações Hadoop Entrada de dados Serialização Automatização MapReduce Patterns

58 Entrada de Dados Java e REST API Comandos UNIX POSIX./hadoop fs -mkdir /output./hadoop fs -put /usr/local/tmp/tweets/* /tmp/input/./hadoop fs -cat /tmp/input/file2 REST API Suporte completo a comandos de file system do HDFS curl -i -X PUT "http://<host>:<port>/webhdfs/v1/<path>?op=create [&overwrite=<true false>][&blocksize=<long>][&replication=<short>] [&permission=<octal>][&buffersize=<int>]" HTTP/ TEMPORARY_REDIRECT Location: Content-Length: 0 curl -i -X PUT -T <LOCAL_FILE> "http://<datanode>:<port>/webhdfs/v1/<path>?op=create..." Java API FileSystem, LocalFileSystem (org.apache.hadoop.fs )

59 Apache Flume Módulo para coletar grandes volumes de logs e armazenar em um repositório centralizado Distribuído, confiável e alta disponibilidade Vários tipos e formatos de entrada Configuração em arquivo texto (Java properties) Por default serializa em formato JSON (Avro) Extensível Custom Source Criar conectores em Java (Classe AbstractSource)

60 Apache Flume Fontes de dados Data sinks tail, taildir multitail, stdin, stdout, console HDFS Logs, syslog, UDP/TCP, Web Server log Source Sink Console rpc IRC syslog TCP Custom Source Agent Channel File (sequence ou textfile) Cassandra e MongoDB Plugin github

61 Apache Flume Fontes de dados Data sinks tail, taildir multitail, stdin, stdout, console Logs, syslog, UDP/TCP, Web Server log Entidades que recebem informações Source Sink HDFS Console rpc IRC syslog TCP Custom Source Agent Channel File (sequence ou textfile) Cassandra e MongoDB Plugin github

62 Apache Flume Fontes de dados Data sinks tail, taildir multitail, stdin, stdout, console Logs, syslog, UDP/TCP, Web Server log Entidades que recebem informações Source Sink HDFS Console rpc IRC syslog TCP Custom Source Agent Channel Armazena dados até a retirada por um sink File (sequence ou textfile) Cassandra e MongoDB Plugin github

63 Apache Flume Fontes de dados Data sinks tail, taildir multitail, stdin, stdout, console Logs, syslog, UDP/TCP, Web Server log Entidades que recebem informações Source Enviam informações a outro ponto do fluxo Sink HDFS Console rpc IRC syslog TCP Custom Source Agent Channel Armazena dados até a retirada por um sink File (sequence ou textfile) Cassandra e MongoDB Plugin github

64 Apache Flume Multiplexação Consolidação multi-agent flow

65 Apache Flume Extensível Escrever um Custom Source Criar conectores em Java (Classe AbstractSource) Twitter Streaming API, REST API ou Twitter4J Dados são copiados diretamente para o HDFS Exemplo: Cloudera (flume.conf) TwitterAgent.sources = Twitter TwitterAgent.channels = MemChannel TwitterAgent.sinks = HDFS TwitterAgent.sources.Twitter.type = com.cloudera.flume.source.twittersource TwitterAgent.sources.Twitter.channels = MemChannel TwitterAgent.sources.Twitter.consumerKey = <required> TwitterAgent.sources.Twitter.consumerSecret = <required> TwitterAgent.sources.Twitter.accessToken = <required> TwitterAgent.sources.Twitter.accessTokenSecret = <required> TwitterAgent.sources.Twitter.keywords = javaone, javaonebr, JavaoneLA

66 Apache Hadoop Import RDBMS para HDFS DBInputFormat / DBOutputFormat Leitura e escrita via JDBC Processo executa como um job Map Mecanismo padrão Hadoop para importar dados Limitar conexões com o banco job.setnummaptasks(n) job.setnumreducetasks(0) (n) - número de jobs e arquivos escritos

67 Apache Hadoop Import RDBMS para HDFS Consulta número de linhas a extrair 1 Client jdbc jdbc Extrai dados do banco 3 DBInputFormat DBInputFormat DBInputFormat Inicia Job MapReduce 2 MapReduce Map Map Map AvroOutputFormat AvroOutputFormat AvroOutputFormat Escreve dados no HDFS 4 HadoopRPC Fonte: Hadoop in Practice

68 Apache Sqoop Import e export de bancos de dados relacionais Import e export para HDFS e Hive Import para HBase Arquitetura de conectores Import tem duas fases: Conectar na fonte e obter metadados e estatísticas Disparar um MapReduce Job para o import Importa todas tabelas do banco ou tabela especificada Importa como texto separado por vírgula

69 Apache Sqoop Import de RDBMS Data sources / drivers Client MySQL PostgreSQL Inicia import 1 Sqoop 2 Lê metadados Oracle DB2 Generic JDBC SQL Server Netezza Teradata Inicia Job MapReduce 3 Lê dados 4 CouchDB MicroStrategy MapReduce Data sinks HDFS HBase Grava no data sink Hive Map (Sqoop) 5 Data sink Map (Sqoop) Data sink Map (Sqoop) Data sink Driver JDBC Driver JDBC e Fast Connector (Driver proprietário) Connectores JDBC Customizados Free (Cloudera) Connector ODBC Customizado Free (Cloudera)

70 Apache Sqoop Sintaxe e formatos Sintaxe: sqoop tool-name [tool-options] Exemplo: $ sqoop import --username admin --password abc123 \ --connect jdbc:mysql://soujava.org.br/socialmedia --table tweets --where "id > 15" Dados são importados como SequenceFiles,texto ou binário Formato - - as- tex6ile - - as- sequencefile - - as- avrodatafile Descrição Dado importado em formato CSV (padrão) Dado importado como SequenceFiles Dado importado como arquivo Avro

71 Apache Sqoop Imports incrementais Dois modelos: append (dados numéricos incrementados e chaves auto-incremento) lastmodified (timestamp data) Parâmetros: --check-column (define a coluna) --incremental (append ou lastmodified) Exemplo: $ sqoop --check-column date \ --incremental lastmodified --last-value \ --connect jdbc:mysql://soujava.org.br/socialmedia \ --table tweets

72 Apache Sqoop Export para RDBMS Insert (padrão) e Update Tabela precisa estar criada --export-dir (diretório a ser exportado) --update-mode updateonly (update falha se o ID não existe no banco) allowinsert (insere apenas se o ID não existir) --update-key id Exemplo: $ sqoop --update-mode updateonly \ --update-key id --export-dir tweets \ --connect jdbc:mysql://soujava.org.br/socialmedia \ --table tweets_export

73 Apache Sqoop Export para RDBMS Se um job falha o dado pode ser parcial Staging table para garantir idempotência Client Inicia export 1 4 INSERT INTO tweets_export (SELECT * FROM tweets_staging) Sqoop tweets_export Inicia Job MapReduce 2 3 Escreve na área de staging MapReduce tweets_staging Exemplo: $ sqoop --export-dir tweets \ --connect jdbc:mysql://soujava.org.br/tweets \ --table tweets_export \ --staging-table tweets_staging --clear-staging-table

74 Bancos NoSQL MongoDB MongoDB Plugin para Flume Não suportado no Sqoop Hadoop Connector Plugin para leitura e escrita Compatível com MapReduce Jobs e Pig MongoInputFormat e MongoOutputFormat import com.mongodb.hadoop.*; import com.mongodb.hadoop.util.*; import org.bson.*; job.setinputformatclass( MongoInputFormat.class ); job.setoutputformatclass( MongoOutputFormat.class );

75 Bancos NoSQL Cassandra e HBase Parte do ecosistema Hadoop Compatíveis com MapReduce Jobs Plugin para Flume (para escrita nos bancos) Não suportados pelo Sqoop Suportados em scripts PIG

76 Agenda Big Data e Hadoop Contexto Definição e características Cenários de uso e aplicações Hadoop Entrada de dados Serialização Automatização MapReduce Patterns

77 Serialização Formatos padrão Hadoop Texto plano - cross platform, mas pode ser ineficiente Formato Binário SequenceFiles - eficiente mas apenas java Hadoop é escrito em Java FileSystem Shell chama Java FileSystem Dificuldades para interoperabilidade

78 Avro Mecanismo de serialização Framework para serialização em diversas linguagens Melhor interoperabilidade que SequenceFiles Schemas definidos em JSON Geração de código é opcional Suporta evolução de schemas e seu versionamento Dado é convertido em formato binário, compactado e armazenado com o schema (object container format) Integração nativa com MapReduce AvroInputFormat, AvroOutputFormat, AvroMapper, AvroReducer

79 Avro Serialização APIs para serialização (Java, C, C++, Ruby, Python) Tipos primitivos null, boolean int, long, float, double, bytes e string Tipos complexos array, map, record, enum e fixed Enum Record { } type : enum, name : SocialMedia, doc : A Social Media Name, symbols : [ TWITTER, FACEBOOK, LINKEDIN ] { } type : record, name : tweetsrecord, doc : Customer Tweets, namespace : org.soujava.sociamedia.twi&er, fields : [ name : customerid, type : int }, name : tweet, type : string }, ]

80 Thrift Mecanismo de serialização Geração de código Apis em C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, JavaScript, Node.js, Smalltalk... Comunicação RPC entre linguagens diferentes Não integra diretamente com MapReduce Pode-se se integrar usando Elephant Bird e Protocol Buffer Pode ser instalado em um servidor Java e servir como proxy para o HDFS

81 Agenda Big Data e Hadoop Contexto Definição e características Cenários de uso e aplicações Hadoop Entrada de dados Serialização Automatização MapReduce Patterns

82 Apache Oozie Workflow Scheduler Workflows são coleções de ações Integrado com outras ferramentas MapReduce, Pig, Hive, Sqoop, Java e Shell Scripts Control flow node define o fluxo Action nodes são as taks (MapReduce Job, Pig Job, Java, envio de API Java para integração Oozie Coordinator Job 1 MapReduce 2 3 Sqoop HDFS

83 Apache Oozie Fork/Join Fork divide a execução em fluxos concorrentes Join aguarda execução concorrente Fork e Join são usados em pares <workflow-app name="sample-wf" xmlns="uri:oozie:workflow:0.1">... <action name="secondparalleljob"> <fork name="forking"> <sqoop:sqoop> <path start="firstparalleljob"/> <job-traker>foo:9001</job-tracker> <path start="secondparalleljob"/> <name-node>bar:9000</name-node> </fork> <prepare> <action name="firstparallejob"> <delete path="${sqoopoutput}"/> <map-reduce> </prepare> <job-tracker>foo:9001</job-tracker> <conf-dir>conf/</conf-dir> <name-node>bar:9000</name-node> <command>import --connect jdbc:mysql://...</command> <job-xml>job1.xml</job-xml> </sqoop:sqoop> </map-reduce> <ok to="myotherjob"/> <ok to="joining"/> <error to="errorcleanup"/> <error to="kill"/> </action> </action> <join name="joining" to="nextaction"/>... </workflow-app>

84 Apache Oozie Switch/Case Sintaxe Exemplo <workflow-app name="[wf-def-name]" xmlns="uri:oozie:workflow:0.1">... <decision name="[node-name]"> <switch> <case to="[node_name]">[predicate]</case>... <case to="[node_name]">[predicate]</case> <default to="[node_name]"/> </switch> </decision>... </workflow-app> <workflow-app name="foo-wf" xmlns="uri:oozie:workflow:0.1">... <decision name="mydecision"> <switch> <case to="reconsolidatejob"> ${fs:filesize(secondjoboutputdir) gt 10 * GB} </case> <case to="rexpandjob"> ${fs:filsize(secondjoboutputdir) lt 100 * MB} </case> <case to="recomputejob"> ${ hadoop:counters('secondjob')[records] [REDUCE_OUT] lt } </case> <default to="end"/> </switch> </decision>... </workflow-app>

85 Agenda Big Data e Hadoop Contexto Definição e características Cenários de uso e aplicações Hadoop Entrada de dados Serialização Automatização MapReduce Patterns

86 MapReduce Patterns Repartition Join Conjuntos grandes de dados Após map cada registro tem como chave é o campo para join e os dados Processo Reducer executa o join (produto cartesiano) Suporta N número de fontes de dados (N-way join) Reducer particiona os dados em N partições Também conhecido como reduce side join

87 MapReduce Patterns Repartition Join CLIENTES_ERRO CONTA TIPO AGENCIA_ID 10 A 1 20 A 2 30 B 2 AGENCIAS Map Tag: Clientes_Erro [Key : 1] { Value: } Record: [10, A, 1] Tag: Agencias [Key : 2] { Value: } Record: [2, Paulista] AGENCIA_ID NOME 1 Alto da Boa Vista 2 Paulista 3 Moema Reduce Sort & Merge entre Map e Reduce Tag: Clientes_Erro Tag: Agencias [Key : 1] { Value: } Record: [10, A, 1] Recod: [Alto da BoaVista, 1] Tag: Clientes_Erro Tag: Clientes_Erro Tag: Agencias [Key : 2] { Value: } Record: [20, A, 2] Record: [30, B, 2] Recod: [Paulista, 2] [Key : 1] [ [10, A, Alto da Boa Vista] ] [Key : 2] [ [20, A, Paulista], [30, B, Paulista] ]

88 MapReduce Patterns Replicated Join Um conjunto de dados pode ficar em memória (peq) Conjunto replicado para todos os nós que fazem o Map Hadoop Distributed Cache copia os dados nos nós Hashtable onde a chave é o parâmetro do Join Map lê o(s) arquivo(s) maior(es) Não é necessário fazer sort do arquivo maior e trafegalo na rede (maior performance) Também conhecido como map side join

89 MapReduce Patterns Semi Join Dois grandes conjuntos de dados que não podem ficar em memória Log de erro no acesso e tabela de clientes Reduzir o Job Reduce, tempo de processamento e rede Remover clientes que não estão no log na tabela cliente e fazer o Join Map Reduce Logs do site Mapeia clientes Gera conjunto de clientes Lista de IDs de clientes no log JOB 1 Distributed Cache IDs de clientes no log Map Clientes Mapeia clientes do log Replicated Join Clientes que estão no log JOB 2 JOB 3 Distributed Cache Clientes que estão no log Map Logs do site Join de clientes com log Replicated Join Resultado

90 Hadoop Arquitetura integrada Aplicações BI e Ferramentas de visualização BIG DATA NoSQL Hadoop NoSQL Não Hadoop Banco MPP e RDBMS

91 Hadoop Arquitetura integrada 1 BIG DATA Aplicações BI e Ferramentas de visualização NoSQL Hadoop NoSQL Não Hadoop Banco MPP e RDBMS Dados estruturados e não estruturados

92 Hadoop Arquitetura integrada 1 Aplicações BI e Ferramentas de visualização BIG DATA 2 NoSQL Hadoop NoSQL Não Hadoop Banco MPP e RDBMS Dados estruturados e não estruturados

93 Hadoop Arquitetura integrada 1 BIG DATA Aplicações BI e Ferramentas de visualização 2 3 NoSQL Hadoop NoSQL Não Hadoop Banco MPP e RDBMS Dados estruturados e não estruturados

94 Hadoop Arquitetura integrada 1 BIG DATA Aplicações BI e Ferramentas de visualização NoSQL Hadoop NoSQL Não Hadoop Banco MPP e RDBMS Dados estruturados e não estruturados

95 Hadoop Arquitetura integrada 1 BIG DATA Aplicações BI e Ferramentas de visualização NoSQL Hadoop NoSQL Não Hadoop Banco MPP e RDBMS 5 Dados estruturados e não estruturados

96 Hadoop Arquitetura integrada 1 BIG DATA Aplicações BI e Ferramentas de visualização NoSQL Hadoop NoSQL Não Hadoop Banco MPP e RDBMS 5 Dados estruturados e não estruturados

97

98 OBRIGADO!!!!!

99

100 soujava.org.br

http://blogging.avnet.com/weblog/cioinsights/tag/big-data/ Storm Processamento e análise real time para Big Data 7/24/12 Fabio Velloso

http://blogging.avnet.com/weblog/cioinsights/tag/big-data/ Storm Processamento e análise real time para Big Data 7/24/12 Fabio Velloso http://blogging.avnet.com/weblog/cioinsights/tag/big-data/ Storm Processamento e análise real time para Big Data Fabio Velloso Fabio Velloso Bio Bacharel em Ciência da Computação - UFSCar MBA FGV Desenvolvedor

Leia mais

MARCELO NAGY CICLO DE PALESTRAS EM TI

MARCELO NAGY CICLO DE PALESTRAS EM TI BIG DATA NA PRÁTICA MARCELO NAGY CICLO DE PALESTRAS EM TI Marcelo Nagy Formação Tecnologias Big Data A era das grandes massas de dados já começou. Usuários são agora fontes de dados. Empresas armazenam

Leia mais

Uma Breve Introdução. Andréa Bordin

Uma Breve Introdução. Andréa Bordin Uma Breve Introdução Andréa Bordin O que significa? NoSQL é um termo genérico que define bancos de dados não-relacionais. A tecnologia NoSQL foi iniciada por companhias líderes da Internet - incluindo

Leia mais

BIG DATA: UTILIZANDO A INTERNET PARA TOMADA DE DECISÕES

BIG DATA: UTILIZANDO A INTERNET PARA TOMADA DE DECISÕES BIG DATA: UTILIZANDO A INTERNET PARA TOMADA DE DECISÕES Alex Travagin Chatalov¹, Ricardo Ribeiro Rufino ¹ ¹Universidade Paranaense (Unipar) Paranavaí PR Brasil alex_tr1992@hotmail.com ricardo@unipar.br

Leia mais

Engenharia de software 2011A. Trabalho sobre

Engenharia de software 2011A. Trabalho sobre Engenharia de software 2011A Trabalho sobre NOSQL Not only SQL NoSQL Not only SQL GRUPO - 9 Cléverton Heming Jardel Palagi Jonatam Gebing Marcos Wassem NOSQL O Termo NoSQL, foi utilizado pela primeira

Leia mais

Weather Search System

Weather Search System Weather Search System PROJECTO DE COMPUTAÇÃO EM NUVEM RELATÓRIO Grupo 2 Gonçalo Carito - Nº57701 Bernardo Simões - Nº63503 Guilherme Vale - Nº64029 Índice Weather Search System...1 1. A Solução Implementada...3

Leia mais

Desenvolvendo Aplicações Web com NetBeans

Desenvolvendo Aplicações Web com NetBeans Desenvolvendo Aplicações Web com NetBeans Aula 3 Cap. 4 Trabalhando com Banco de Dados Prof.: Marcelo Ferreira Ortega Introdução O trabalho com banco de dados utilizando o NetBeans se desenvolveu ao longo

Leia mais

(HDFS) Usando o. hadoop_

(HDFS) Usando o. hadoop_ hadoop_ Usando o Hadoop Distributed File System (HDFS) Hadoop File System (HDFS) é o componente do O Hadoop responsável pela persistência de dados de forma distribuída, constituindo a principal funcionalidade

Leia mais

HadoopDB. Edson Ie Serviço Federal de Processamento de Dados - SERPRO

HadoopDB. Edson Ie Serviço Federal de Processamento de Dados - SERPRO HadoopDB Edson Ie Serviço Federal de Processamento de Dados - SERPRO Motivação Grandes massas de dados precisam ser processadas em clusters: 1 nó: 100TB@59MB/s = 23 dias Cluster com 1000 nós 33 min!!!

Leia mais

Boas Práticas em Sistemas Web muito além do HTML...

Boas Práticas em Sistemas Web muito além do HTML... Boas Práticas em Sistemas Web muito além do HTML... Adriano C. Machado Pereira (adrianoc@dcc.ufmg.br) De que Web estamos falando? De que Web estamos falando? A Web foi concebida para ser uma biblioteca

Leia mais

Universidade Federal de Goiás Ciências da Computação Sistemas Operacionais 2

Universidade Federal de Goiás Ciências da Computação Sistemas Operacionais 2 Universidade Federal de Goiás Ciências da Computação Sistemas Operacionais 2 MongoDB Diego Fraga - 083746 Gabriel Henrique - 083771 Lauro Henrique - 074259 O que é MongoDB? - MongoDB é uma ferramenta de

Leia mais

MBA Analytics em Big Data

MBA Analytics em Big Data MBA Analytics em Big Data Inscrições Abertas Início das Aulas: 04/06/2015 Dias e horários das aulas: Segunda-Feira 19h00 às 23h00 Semanal Sexta-Feira 19h00 às 23h00 Semanal Carga horária: 600 Horas Duração:

Leia mais

Hadoop - HDFS. Universidade Federal de Goiás Ciência da Computação

Hadoop - HDFS. Universidade Federal de Goiás Ciência da Computação Hadoop - HDFS Universidade Federal de Goiás Ciência da Computação O que é Hadoop? Um framework para lidar com aplicações distribuídas que fazem uso massivo de dados Originalmente construído para a distribuição

Leia mais

Interoperabilidade entre Bancos de Dados Relacionais e Bancos de Dados NoSQL

Interoperabilidade entre Bancos de Dados Relacionais e Bancos de Dados NoSQL Minicurso: Interoperabilidade entre Bancos de Dados Relacionais e Bancos de Dados NoSQL Geomar A. Schreiner Ronaldo S. Mello Departamento de Informática e Estatística (INE) Programa de Pós-Graduação em

Leia mais

Neo4j Aprendendo conceitos por trás do Neo4j. Sem SQL? Apresentação. Por que grafos, por que agora? Por que grafos, por que agora?

Neo4j Aprendendo conceitos por trás do Neo4j. Sem SQL? Apresentação. Por que grafos, por que agora? Por que grafos, por que agora? Neo4j Aprendendo conceitos por trás do Neo4j Universidade Federal do Paraná - UFPR Programa de Pós-Graduação em Informática - PPGInf Oficina de Banco de Dados - CI829 Profa: Dra. Carmem Hara Aluno: Walmir

Leia mais

Arquiteturas escaláveis utilizando ferramentas Shared Nothing. Victor Canô

Arquiteturas escaláveis utilizando ferramentas Shared Nothing. Victor Canô Arquiteturas escaláveis utilizando ferramentas Shared Nothing Victor Canô Victor Canô - Founder / CTO @ Cazamba - Founder @ Troz.io /victoracano Conteúdo O que esperamos de uma aplicação? Cloud, benefícios

Leia mais

São Paulo. Maio/2015

São Paulo. Maio/2015 São Paulo Maio/2015 Padrões de Arquitetura para Big Data Hélio Silva Sr. Big Data Analytics Consultant Professional Services AWS Summit São Paulo Maio/2015 Henrique Souza Especialista de Cloud e Big Data

Leia mais

Prof. Daniela Barreiro Claro

Prof. Daniela Barreiro Claro Prof. Daniela Barreiro Claro Volume de dados muito grande Principais problemas em relação aos SGBD Relacionais é conciliar o tipo de modelo com a demanda da escalabilidade. Exemplo -Facebook Um crescimento

Leia mais

INSTALAÇÃO PRINTERTUX Tutorial

INSTALAÇÃO PRINTERTUX Tutorial INSTALAÇÃO PRINTERTUX Tutorial 2 1. O Sistema PrinterTux O Printertux é um sistema para gerenciamento e controle de impressões. O Produto consiste em uma interface web onde o administrador efetua o cadastro

Leia mais

Copyright 2012 EMC Corporation. Todos os direitos reservados.

Copyright 2012 EMC Corporation. Todos os direitos reservados. 1 A INFRAESTRUTURA DO FUTURO, HOJE Integrando Greenplum DCA e SAS para permitir estudos analíticos em big data Rafael Aielo Technology Consultant 2 O que é Greenplum? Adquirida pela EMC em julho de 2010

Leia mais

Alta performance no processamento de Big Data com Spark e Lambda Expressions. Claudio Seidi @claudio_seidi Fabio Velloso @fabiovelloso

Alta performance no processamento de Big Data com Spark e Lambda Expressions. Claudio Seidi @claudio_seidi Fabio Velloso @fabiovelloso Alta performance no processamento de Big Data com Spark e Lambda Expressions Claudio Seidi @claudio_seidi Fabio Velloso @fabiovelloso Cláudio Seidi Bacharel em Ciência da Computação - IME/USP Java desde

Leia mais

SolarWinds Kiwi Syslog Server

SolarWinds Kiwi Syslog Server SolarWinds Kiwi Syslog Server Monitoramento de syslog fácil de usar e econômico O Kiwi Syslog Server oferece aos administradores de TI o software de gerenciamento mais econômico do setor. Fácil de instalar

Leia mais

Introdução a Informática. Prof.: Roberto Franciscatto

Introdução a Informática. Prof.: Roberto Franciscatto Introdução a Informática Prof.: Roberto Franciscatto 6.1 ARQUIVOS E REGISTROS De um modo geral os dados estão organizados em arquivos. Define-se arquivo como um conjunto de informações referentes aos elementos

Leia mais

NoSQL: onde, como e por quê? Rodrigo Hjort rodrigo@hjort.co

NoSQL: onde, como e por quê? Rodrigo Hjort rodrigo@hjort.co NoSQL: onde, como e por quê? Rodrigo Hjort rodrigo@hjort.co Quem aqui usa banco de dados? Por que precisamos de SQL? Onde usamos SQL (i.e. ACID)? MAS... Universo digital em expansão Fonte: IDC White Paper,

Leia mais

ANEXO 9 DO PROJETO BÁSICO DA FERRAMENTA DE MONITORAMENTO, SEGURANÇA E AUDITORIA DE BANCO DE DADOS

ANEXO 9 DO PROJETO BÁSICO DA FERRAMENTA DE MONITORAMENTO, SEGURANÇA E AUDITORIA DE BANCO DE DADOS ANEXO 9 DO PROJETO BÁSICO DA FERRAMENTA DE MONITORAMENTO, SEGURANÇA E AUDITORIA DE BANCO DE DADOS Sumário 1. Finalidade... 2 2. Justificativa para contratação... 2 3. Premissas para fornecimento e operação

Leia mais

MC714A - 2º Semestre 2015. Nomes: Roberto Hayasida Mariane Previde Cibelle Begalli

MC714A - 2º Semestre 2015. Nomes: Roberto Hayasida Mariane Previde Cibelle Begalli MC714A - 2º Semestre 2015 Nomes: Roberto Hayasida Mariane Previde Cibelle Begalli RAs:103984 121192 135334 Facebook Introdução Os 4 grandes tipos de sistemas de armazenamento utilizados no Facebook: OLTP

Leia mais

SuporteNativoa XML no

SuporteNativoa XML no SuporteNativoa XML no Gerenciamento de Dados e Informação Suporte Nativo a XML no Oracle Fernando Fonseca Ana Carolina Robson Fidalgo 2 Oracle & XML Habilita uma fonte confiável para XML Apresenta flexibilidade

Leia mais

GBD. Introdução PROF. ANDREZA S. AREÃO

GBD. Introdução PROF. ANDREZA S. AREÃO GBD Introdução PROF. ANDREZA S. AREÃO Sistema de arquivos X Sistemas de Banco de Dados Sistema de arquivos Sistema de Banco de Dados Aplicativos Dados (arquivos) Aplicativos SGBD Dados (arquivos) O acesso/gerenciamento

Leia mais

BIG DATA INTRODUÇÃO. Humberto Sandmann humberto.sandmann@gmail.com

BIG DATA INTRODUÇÃO. Humberto Sandmann humberto.sandmann@gmail.com BIG DATA INTRODUÇÃO Humberto Sandmann humberto.sandmann@gmail.com Apresentação Humberto Sandmann humberto.sandmann@gmail.com Possui graduação em Ciências da Computação pelo Centro Universitário da Faculdade

Leia mais

Tecnologias para Gerenciamento de Dados na Era do Big Data

Tecnologias para Gerenciamento de Dados na Era do Big Data Tecnologias para Gerenciamento de Dados na Era do Big Data Victor Teixeira de Almeida 1,2 Vitor Alcântara Batista 1 1 PETROBRAS 2 Universidade Federal Fluminense (UFF) Importante A Petrobras não é responsável

Leia mais

SISTEMA DE GERÊNCIA - DmView

SISTEMA DE GERÊNCIA - DmView Sistema de Gerenciamento DmView O DmView é o Sistema de Gerência desenvolvido para supervisionar e configurar os equipamentos DATACOM, disponibilizando funções para gerência de supervisão, falhas, configuração,

Leia mais

2 Trabalhos Relacionados

2 Trabalhos Relacionados 2 Trabalhos Relacionados Nesse capítulo, apresentamos os trabalhos relacionados ao GridFS, entrando em mais detalhes sobre os sistemas citados durante a introdução e realizando algumas considerações sobre

Leia mais

NoSQL. Arthur Azevedo Rafael Benedito

NoSQL. Arthur Azevedo Rafael Benedito NoSQL Arthur Azevedo Rafael Benedito Aviso! O que você vai ver/aprender nessa apresentação: Conceitos de banco de dados NoSQL; Taxonomia de banco de dados NoSQL; Conceitos de Banco de Dados distribuídos;

Leia mais

Lab 2 MapReduce e o Console Web

Lab 2 MapReduce e o Console Web Lab 2 MapReduce e o Console Web Objetivos do Laboratório Neste laboratório você irá praticar o que você aprendeu nesta lição, mais especificamente você ira praticar as operações de MapReduce e aprender

Leia mais

Introdução à Computação na Nuvem Markus Endler

Introdução à Computação na Nuvem Markus Endler http://picasaweb.google.com/markus.endler/favorites?feat=directlink directlink Introdução à Computação na Nuvem Markus Endler Agenda História e Contexto Definições i e Tipos Exemplos de Cloud computing

Leia mais

Fábio Giordani. Técnico em Processamento de Dados Adm. Análise de Sistemas. Outros cursos. Coordenador Projetos e Consultoria em Infraestrutura

Fábio Giordani. Técnico em Processamento de Dados Adm. Análise de Sistemas. Outros cursos. Coordenador Projetos e Consultoria em Infraestrutura Fábio Giordani Técnico em Processamento de Dados Adm. Análise de Sistemas Cobol Developer (Caracter mode ;-) DBA (Oracle 7.1...) Developer (GUI) Java Outros cursos Coordenador Projetos e Consultoria em

Leia mais

Introdução aos Bancos de Dados Não-Relacionais. Mauricio De Diana (mestrando) Marco Aurélio Gerosa (orientador)

Introdução aos Bancos de Dados Não-Relacionais. Mauricio De Diana (mestrando) Marco Aurélio Gerosa (orientador) Introdução aos Bancos de Dados Não-Relacionais Mauricio De Diana (mestrando) Marco Aurélio Gerosa (orientador) Conteúdo Histórico de BDs não-relacionais na Web 4 Categorias de bancos NoSQL Exemplos de

Leia mais

Integração entre o IBM HTTP SERVER, APACHE WEB Server e IBM Websphere Application Server

Integração entre o IBM HTTP SERVER, APACHE WEB Server e IBM Websphere Application Server Integração entre o IBM HTTP SERVER, APACHE WEB Server e IBM Websphere Application Server Índice Resumo sobre este documento... 3 Integrando o IBM HTTP Server com o IBM WebSphere Application Server... 3

Leia mais

PERFORMANCE EVALUATION OF A MONGODB AND HADOOP PLATFORM FOR SCIENTIFIC DATA ANALYSIS M.Govindaraju and L. Ramakrishnan

PERFORMANCE EVALUATION OF A MONGODB AND HADOOP PLATFORM FOR SCIENTIFIC DATA ANALYSIS M.Govindaraju and L. Ramakrishnan PERFORMANCE EVALUATION OF A MONGODB AND HADOOP PLATFORM FOR SCIENTIFIC DATA ANALYSIS M.Govindaraju and L. Ramakrishnan Alfredo Fernandes / José Fernandes 6. Avaliação Nesta secção é apresentada as avaliações

Leia mais

Big Data Definição, Desafios e Análise de dados Seminário da disciplina IN940 - Banco de Dados

Big Data Definição, Desafios e Análise de dados Seminário da disciplina IN940 - Banco de Dados Big Data Definição, Desafios e Análise de dados Seminário da disciplina IN940 - Banco de Dados Aluno: Victor Santos Professor: Ana Carolina Fernando Fonseca AGENDA 1 - O que é Big Data? 2 - Impactos do

Leia mais

XDR. Solução para Big Data.

XDR. Solução para Big Data. XDR Solução para Big Data. ObJetivo Principal O volume de informações com os quais as empresas de telecomunicações/internet têm que lidar é muito grande, e está em constante crescimento devido à franca

Leia mais

INDICE 3.APLICAÇÕES QUE PODEM SER DESENVOLVIDAS COM O USO DO SAXES

INDICE 3.APLICAÇÕES QUE PODEM SER DESENVOLVIDAS COM O USO DO SAXES w w w. i d e a l o g i c. c o m. b r INDICE 1.APRESENTAÇÃO 2.ESPECIFICAÇÃO DOS RECURSOS DO SOFTWARE SAXES 2.1. Funcionalidades comuns a outras ferramentas similares 2.2. Funcionalidades próprias do software

Leia mais

Conceito de Big Data

Conceito de Big Data Conceito de Big Data O que são Dados? A palavra Dados é o plural de Datum em Latin que significava Dar", ou seja "algo dado". Dados como um conceito abstrato pode ser explicado como o mais baixo nível

Leia mais

Arquiteturas Java Pragmá1cas para usar Big Data na Nuvem. Fabiane Bizinella Nardon (@fabianenardon) Fernando Babadopulos (@babadopulos)

Arquiteturas Java Pragmá1cas para usar Big Data na Nuvem. Fabiane Bizinella Nardon (@fabianenardon) Fernando Babadopulos (@babadopulos) Arquiteturas Java Pragmá1cas para usar Big Data na Nuvem Fabiane Bizinella Nardon (@fabianenardon) Fernando Babadopulos (@babadopulos) Nós e Big Data BigDataTailTargetDataScienceMachineLearningHiveHadoopCrunchMongoDBRedisAWS

Leia mais

Tempo de Resposta em Sub-Segundos com o novo MicroStrategy 10 In-Memory Analytics. Anderson Santos, Sales Engineer Brazil

Tempo de Resposta em Sub-Segundos com o novo MicroStrategy 10 In-Memory Analytics. Anderson Santos, Sales Engineer Brazil Tempo de Resposta em Sub-Segundos com o novo MicroStrategy 10 In-Memory Analytics Anderson Santos, Sales Engineer Brazil Alta Performance não é mais Desejável em uma Aplicação Analítica Expectativa dos

Leia mais

Grandes volumes de dados pertenciam ao domínio das aplicações científicas até há 15 anos atrás.

Grandes volumes de dados pertenciam ao domínio das aplicações científicas até há 15 anos atrás. Grandes volumes de dados pertenciam ao domínio das aplicações científicas até há 15 anos atrás. Com o crescimento exponencial das aplicações Web o volume de dados que é produzido e processado tornou-se

Leia mais

Big Data e Análise de Dados: Tendências e Aplicações em Projetos. Marcus Borba. Apresentação

Big Data e Análise de Dados: Tendências e Aplicações em Projetos. Marcus Borba. Apresentação Big Data e Análise de Dados: Tendências e Aplicações em Projetos Marcus Borba 1 Apresentação Marcus Borba CTO - Spark Strategic Business Solution. 30 anos de experiência em tecnologia da informação.. 14

Leia mais

NoSQL como suporte à análise de dados nãonormalizados. volume

NoSQL como suporte à análise de dados nãonormalizados. volume NoSQL como suporte à análise de dados nãonormalizados e de grande volume Joel Alexandre Orientador: Professor Luís Cavique Motivação Grande quantidade de registos Tudo é registado Internet of things tudo

Leia mais

Jarley Nóbrega jpn@cin.ufpe.br

Jarley Nóbrega jpn@cin.ufpe.br 1 Jarley Nóbrega jpn@cin.ufpe.br Pentaho Data Integration Dezembro de 2009 Agenda O PDI e o Pentaho BI Suite Instalando o PDI Trabalhando com arquivos Pentaho BI Suite Coleção de Aplicações de Software

Leia mais

A Nova Interface do Data Discovery no MicroStrategy 10. Anderson Santos, Sales Engineer Brazil 11/08/2015

A Nova Interface do Data Discovery no MicroStrategy 10. Anderson Santos, Sales Engineer Brazil 11/08/2015 A Nova Interface do Data Discovery no MicroStrategy 10 Anderson Santos, Sales Engineer Brazil 11/08/2015 Empresas participantes do MicroStrategy 10 Beta Test Pela primeira vez na história, MicroStrategy

Leia mais

Análise de Big Data Streams

Análise de Big Data Streams Análise de Big Data Streams Identificando e tratando fluxo Hadoop Marcelo Vaz Netto Nilson Moraes Filho 14/07/14 Propósito do Artigo Original Programming Your Network at Run-time for Big Data Applications

Leia mais

Armazenamento organizado facilitando SCRUD; Agiliza processo de desenvolvimento de sistemas;

Armazenamento organizado facilitando SCRUD; Agiliza processo de desenvolvimento de sistemas; Conjunto de informações relacionadas entre si; Armazenamento organizado facilitando SCRUD; Agiliza processo de desenvolvimento de sistemas; Conjunto de Tabelas onde cada linha é um vetor de dados específico;

Leia mais

JPA: Persistência padronizada em Java

JPA: Persistência padronizada em Java JPA: Persistência padronizada em Java FLÁVIO HENRIQUE CURTE Bacharel em Engenharia de Computação flaviocurte.java@gmail.com Programação Orientada a Objetos X Banco de Dados Relacionais = Paradigmas diferentes

Leia mais

Prof. Carlos Majer Aplicações Corporativas UNICID

Prof. Carlos Majer Aplicações Corporativas UNICID Este material pertence a Carlos A. Majer, Professor da Unidade Curricular: Aplicações Corporativas da Universidade Cidade de São Paulo UNICID Licença de Uso Este trabalho está licenciado sob uma Licença

Leia mais

Banco de Dados. Professor: Rômulo César. romulodandrade@gmail.com www.romulocesar.com.br

Banco de Dados. Professor: Rômulo César. romulodandrade@gmail.com www.romulocesar.com.br Banco de Dados Professor: Rômulo César romulodandrade@gmail.com www.romulocesar.com.br Sistema de arquivos X Sistemas de Banco de Dados Sistema de arquivos Sistema de Banco de Dados Aplicativos Dados (arquivos)

Leia mais

INTRODUÇÃO. No entanto, o que pode ser considerado um produto (resultado) da criação de BDs?

INTRODUÇÃO. No entanto, o que pode ser considerado um produto (resultado) da criação de BDs? BANCO DE DADOS Universidade do Estado de Santa Catarina Centro de Ciências Tecnológicas Departamento de Ciência da Computação Prof. Alexandre Veloso de Matos alexandre.matos@udesc.br INTRODUÇÃO Um Banco

Leia mais

BIG DATA Armazenamento e Gerenciamento de grandes volumes de dados

BIG DATA Armazenamento e Gerenciamento de grandes volumes de dados BIG DATA Armazenamento e Gerenciamento de grandes volumes de dados Carlos Marques Business Development Manager, Data Connectivity and Integration Latin America & Caribbean Market (CALA) O que veremos hoje?

Leia mais

Aplicabilidade: visão geral

Aplicabilidade: visão geral CURSO BÁSICO SAXES 2 Aplicabilidade: visão geral BI Comércio Indústria nf-e Serviços Software house Enterprise Business Bus Banco financeiro Instituição Sindicato ERP html Casos 3 6 Customização: importação

Leia mais

4 Conversor EDTV Raw. 4.1 Arquitetura

4 Conversor EDTV Raw. 4.1 Arquitetura 4 Conversor EDTV Raw O conversor EDTV Raw é o programa que lê um documento escrito no perfil NCL EDTV e gera um documento Raw equivalente, i.e. que define a mesma apresentação. Este capítulo, apresenta

Leia mais

Estratégia para dentificação dos fatores de maior impacto de aplicações Mapreduce

Estratégia para dentificação dos fatores de maior impacto de aplicações Mapreduce Estratégia para dentificação dos fatores de maior impacto de aplicações Mapreduce Fabiano da Guia Rocha Instituto Federal de Educação, Ciência e Tecnologia de Mato Grosso - Campus Cáceres Av. dos Ramires,

Leia mais

Desenvolvimento de Aplicações. Desenvolvimento de Aplicações. Desenvolvimento de Aplicações. Dificuldades no uso de Bancos de Dados

Desenvolvimento de Aplicações. Desenvolvimento de Aplicações. Desenvolvimento de Aplicações. Dificuldades no uso de Bancos de Dados Desenvolvimento de Aplicações Desenvolvimento de Aplicações Dificuldades no uso de Bancos de Dados Um leigo não sabe o que é e como funciona um BD Mesmo um profissional da área de informática pode ter

Leia mais

um token de requisição garante que o usuário final autorize a aplicação; um token de acesso permite que a aplicação execute as operações da API.

um token de requisição garante que o usuário final autorize a aplicação; um token de acesso permite que a aplicação execute as operações da API. 6 Implementação Este capítulo irá apresentar as tecnologias e os protocolos utilizados no Mobile Social Gateway e explicar de forma mais detalhada o papel de cada componente na arquitetura e o porquê de

Leia mais

Arquitetura de Computadores. Introdução aos Sistemas Operacionais

Arquitetura de Computadores. Introdução aos Sistemas Operacionais Arquitetura de Computadores Introdução aos Sistemas Operacionais O que é um Sistema Operacional? Programa que atua como um intermediário entre um usuário do computador ou um programa e o hardware. Os 4

Leia mais

SQL Linguagem de Definição de Dados. Banco de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri

SQL Linguagem de Definição de Dados. Banco de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri SQL Linguagem de Definição de Dados Banco de Dados SQL Structured Query Language Uma das mais importantes linguagens relacionais (se não a mais importante) Exemplos de SGBD que utilizam SQL Oracle Informix

Leia mais

Programação com Acesso a Banco de Dados

Programação com Acesso a Banco de Dados Campus Ipanguaçu Curso: Técnico em Informática Programação com Acesso a Banco de Dados AULA 17 ACESSO A BANCO DE DADOS COM JDBC PROF.: CLAYTON M. COSTA 2 011.2 Introdução Aplicação + Banco de Dados: Funcionalidade

Leia mais

Programação WEB II. PHP e Banco de Dados. progweb2@thiagomiranda.net. Thiago Miranda dos Santos Souza

Programação WEB II. PHP e Banco de Dados. progweb2@thiagomiranda.net. Thiago Miranda dos Santos Souza PHP e Banco de Dados progweb2@thiagomiranda.net Conteúdos Os materiais de aula, apostilas e outras informações estarão disponíveis em: www.thiagomiranda.net PHP e Banco de Dados É praticamente impossível

Leia mais

SOLUÇÃO DE STORAGE PROJETO X86 ARMAZENAMENTO. 1.2 Para efeito de cálculo do volume total em TB deverá ser considerado que 1KB = 1024 bytes.

SOLUÇÃO DE STORAGE PROJETO X86 ARMAZENAMENTO. 1.2 Para efeito de cálculo do volume total em TB deverá ser considerado que 1KB = 1024 bytes. SOLUÇÃO DE STORAGE PROJETO X86 ARMAZENAMENTO Características Técnicas: 1.1 Deverá ser ofertada Solução de Storage com capacidade mínima de 100 TB (cem Terabyte) líquido, sendo 80TB (oitenta Terabytes)

Leia mais

Engenharia de Software Aplicações de Internet

Engenharia de Software Aplicações de Internet Engenharia de Software Aplicações de Internet Eduardo Santos eduardo.edusantos@gmail.com eduardo.santos@planejamento.gov.br www.softwarepublico.gov.br Histórico Por que existe a Internet? Por que existe

Leia mais

XML e Banco de Dados. Prof. Daniela Barreiro Claro DCC/IM/UFBA

XML e Banco de Dados. Prof. Daniela Barreiro Claro DCC/IM/UFBA XML e Banco de Dados DCC/IM/UFBA Banco de Dados na Web Armazenamento de dados na Web HTML muito utilizada para formatar e estruturar documentos na Web Não é adequada para especificar dados estruturados

Leia mais

1 http://www.google.com

1 http://www.google.com 1 Introdução A computação em grade se caracteriza pelo uso de recursos computacionais distribuídos em várias redes. Os diversos nós contribuem com capacidade de processamento, armazenamento de dados ou

Leia mais

SISTEMA DE ARQUIVOS DISTRIBUÍDOS

SISTEMA DE ARQUIVOS DISTRIBUÍDOS SISTEMA DE ARQUIVOS DISTRIBUÍDOS Sistemas Distribuídos 331 Arquivo: objeto que existe após criação, é imune a falhas temporárias e é persistente até que seja destruído Propósito de arquivos: armazenamento

Leia mais

EKM Visão Geral. Vinicius Strugata João Aguirre Ricardo Damian

EKM Visão Geral. Vinicius Strugata João Aguirre Ricardo Damian EKM Visão Geral Vinicius Strugata João Aguirre Ricardo Damian EKM 2.0 Desafios na Simulação de Engenharia PAGE 2? Cenário 1: Colaboração Cenário 2: Reutilização Vários analistas trabalhando no mesmo Projeto

Leia mais

Apache + PHP + MySQL

Apache + PHP + MySQL Apache + PHP + MySQL Fernando Lozano Consultor Independente Prof. Faculdade Metodista Bennett Webmaster da Free Software Foundation fernando@lozano.eti.br SEPAI 2001 O Que São Estes Softwares Apache: Servidor

Leia mais

Prof. Daniela Barreiro Claro

Prof. Daniela Barreiro Claro Prof. Daniela Barreiro Claro Volume de dados muito grande Principais problemas em relacao aos SGBD Relacionais é conciliar o tipo de modelo com a demanda da escalabilidade. Exemplo -Facebook Um crescimento

Leia mais

APOSTILA BÁSICA DE MYSQL

APOSTILA BÁSICA DE MYSQL APOSTILA BÁSICA DE MYSQL História O MySQL foi criado na Suécia por dois suecos e um finlandês: David Axmark, Allan Larsson e Michael "Monty" Widenius, que têm trabalhado juntos desde a década de 1980.

Leia mais

Sistemas de Monitoração de Rede. Resumo

Sistemas de Monitoração de Rede. Resumo Sistemas de Monitoração de Rede Roberto Majewski Especialização em Redes e Segurança de Sistemas Pontifícia Universidade Católica do Paraná Curitiba, novembro de 2009 Resumo Com o grande crescimento da

Leia mais

Funções de um SO. Gerência de processos Gerência de memória Gerência de Arquivos Gerência de I/O Sistema de Proteção

Funções de um SO. Gerência de processos Gerência de memória Gerência de Arquivos Gerência de I/O Sistema de Proteção Sistemas de Arquivos Funções de um SO Gerência de processos Gerência de memória Gerência de Arquivos Gerência de I/O Sistema de Proteção 2 Sistemas Operacionais Necessidade de Armazenamento Grandes quantidades

Leia mais

Principais características

Principais características .Net Framework O que é.net? Proprietário da Microsoft Versão simplificada para Linux Versão compacta para dispositivos móveis Plataforma de desenvolvimento e execução Interface com usuário, conectividade

Leia mais

Sumário Agradecimentos... 19 Sobre.o.autor... 20 Prefácio... 21 Capítulo.1..Bem-vindo.ao.MySQL... 22

Sumário Agradecimentos... 19 Sobre.o.autor... 20 Prefácio... 21 Capítulo.1..Bem-vindo.ao.MySQL... 22 Sumário Agradecimentos... 19 Sobre o autor... 20 Prefácio... 21 Capítulo 1 Bem-vindo ao MySQL... 22 1.1 O que é o MySQL?...22 1.1.1 História do MySQL...23 1.1.2 Licença de uso...23 1.2 Utilizações recomendadas...24

Leia mais

Redes de Computadores

Redes de Computadores Redes de Computadores LAMP Gustavo Reis gustavo.reis@ifsudestemg.edu.br Acrônico para a combinação de Linux, Apache, MySQL e PHP ou Perl ou Python; Recentemente a letra P começou a fazer referência a Perl

Leia mais

DESENVOLVIMENTO DE UMA FERRAMENTA DE COLETA E ARMAZENAMENTO DE DADOS DISPONÍVEIS EM REDES SOCIAIS

DESENVOLVIMENTO DE UMA FERRAMENTA DE COLETA E ARMAZENAMENTO DE DADOS DISPONÍVEIS EM REDES SOCIAIS DESENVOLVIMENTO DE UMA FERRAMENTA DE COLETA E ARMAZENAMENTO DE DADOS DISPONÍVEIS EM REDES SOCIAIS Bruno Edgar Führ, Evandro Franzen 1 Resumo: O crescimento da internet na última década fez dela a maior

Leia mais

Este livro é dedicado a minha esposa Edna e a todos os desenvolvedores que fizeram do software livre um meio profissional levado a sério.

Este livro é dedicado a minha esposa Edna e a todos os desenvolvedores que fizeram do software livre um meio profissional levado a sério. EDSON GONÇALVES Este livro é dedicado a minha esposa Edna e a todos os desenvolvedores que fizeram do software livre um meio profissional levado a sério. AGRADECIMENTOS Primeiramente gostaria de agradecer

Leia mais

JDBC Acessando Banco de Dados

JDBC Acessando Banco de Dados Acessando Banco de Dados Objetivos Entender o que são Drivers. Diferenciar ODBC, JDBC e DRIVERMANAGER. Desenvolver uma aplicação Java para conexão com Banco de Dados. Criar um objeto a partir da classe

Leia mais

SISTEMA DE ARMAZENAMENTO (STORAGE)

SISTEMA DE ARMAZENAMENTO (STORAGE) SISTEMA DE ARMAZENAMENTO (STORAGE) Possuir capacidade instalada, livre para uso, de pelo menos 5.2 (cinco ponto dois) TB líquidos em discos SAS/FC de no máximo 600GB 15.000RPM utilizando RAID 5 (com no

Leia mais

Especificação Técnica

Especificação Técnica Especificação Técnica Última atualização em 31 de março de 2010 Plataformas Suportadas Agente: Windows XP e superiores. Customização de pacotes de instalação (endereços de rede e dados de autenticação).

Leia mais

Manual de referência do HP Web Jetadmin Database Connector Plug-in

Manual de referência do HP Web Jetadmin Database Connector Plug-in Manual de referência do HP Web Jetadmin Database Connector Plug-in Aviso sobre direitos autorais 2004 Copyright Hewlett-Packard Development Company, L.P. A reprodução, adaptação ou tradução sem permissão

Leia mais

FTIN FORMAÇÃO TÉCNICA EM INFORMÁTICA. Módulo de Programação Prof. Bruno Maciel

FTIN FORMAÇÃO TÉCNICA EM INFORMÁTICA. Módulo de Programação Prof. Bruno Maciel FTIN FORMAÇÃO TÉCNICA EM INFORMÁTICA Módulo de Programação Prof. Bruno Maciel Competências a serem trabalhadas nessa aula Criação da Base de Dados (MySQL) Criação de Tabelas Tipo de Dados Chave Primária

Leia mais

Usando PostgreSQL na Regra de Negócio de um ERP. Fabiano Machado Dias Eduardo Wolak

Usando PostgreSQL na Regra de Negócio de um ERP. Fabiano Machado Dias Eduardo Wolak Usando PostgreSQL na Regra de Negócio de um ERP Fabiano Machado Dias Eduardo Wolak Regra de negócio? São todas as regras existentes num sistema de informação, que ditam seu comportamento, suas restrições

Leia mais

IBM SPSS Analytic Server Versão 2.1. Guia do Usuário IBM

IBM SPSS Analytic Server Versão 2.1. Guia do Usuário IBM IBM SPSS Analytic Server Versão 2.1 Guia do Usuário IBM Nota Antes de utilizar estas informações e o produto suportado por elas, leia as informações em Avisos na página 33. Informações sobre o Produto

Leia mais

UFCD 787. Administração de base de dados. Elsa Marisa S. Almeida

UFCD 787. Administração de base de dados. Elsa Marisa S. Almeida UFCD 787 Administração de base de dados Elsa Marisa S. Almeida 1 Objectivos Replicação de base de dados Gestão de transacções Cópias de segurança Importação e exportação de dados Elsa Marisa S. Almeida

Leia mais

Funcionamento e Recursos

Funcionamento e Recursos hadoop_ MapReduce Detalhado MapReduce Detalhado Funcionamento e Recursos Na edição anterior da MundoJ, foi apresentado um artigo introdutório sobre o Hadoop, explicando de forma básica os seus principais

Leia mais

PHP Profissional. Alexandre Altair de Melo / Mauricio G. F. Nascimento. Editora Novatec

PHP Profissional. Alexandre Altair de Melo / Mauricio G. F. Nascimento. Editora Novatec Introdução Como a idéia deste livro é ir direto ao ponto, vou fazer isso já na introdução. A idéia desse livro não é explicar a teoria e filosofia do PHP, da orientação a objetos, as maravilhas dos design

Leia mais

Os dados no MySQL são armazenado em tabelas. Uma tabela é uma colecção de informação relacionada e consiste em colunas e linhas.

Os dados no MySQL são armazenado em tabelas. Uma tabela é uma colecção de informação relacionada e consiste em colunas e linhas. MySQL 101 Recapitulando Os dados no MySQL são armazenado em tabelas. Uma tabela é uma colecção de informação relacionada e consiste em colunas e linhas. As bases de dados são úteis quando necessitamos

Leia mais

Winconnection 6. Internet Gateway

Winconnection 6. Internet Gateway Winconnection 6 Internet Gateway Descrição Geral O Winconnection 6 é um gateway de acesso à internet desenvolvido dentro da filosofia UTM (Unified Threat Management). Assim centraliza as configurações

Leia mais

Programação para Dispositivos Móveis Aula 1. Prof. William Yamamoto

Programação para Dispositivos Móveis Aula 1. Prof. William Yamamoto Programação para Dispositivos Móveis Aula 1 Prof. William Yamamoto Visual Studio É uma ferramenta de desenvolvimento completa que atende praticamente a todas as plataformas de desenvolvimento, como: Web

Leia mais

Implementar servidores de Web/FTP e DFS. Disciplina: Serviços de Redes Microsoft Professor: Fernando Santorsula fernando.santorsula@esamc.

Implementar servidores de Web/FTP e DFS. Disciplina: Serviços de Redes Microsoft Professor: Fernando Santorsula fernando.santorsula@esamc. Implementar servidores de Web/FTP e DFS Disciplina: Serviços de Redes Microsoft Professor: Fernando Santorsula fernando.santorsula@esamc.br Conteúdo programático Introdução ao protocolo HTTP Serviço web

Leia mais

Notas da Aula 15 - Fundamentos de Sistemas Operacionais

Notas da Aula 15 - Fundamentos de Sistemas Operacionais Notas da Aula 15 - Fundamentos de Sistemas Operacionais 1. Software de Entrada e Saída: Visão Geral Uma das tarefas do Sistema Operacional é simplificar o acesso aos dispositivos de hardware pelos processos

Leia mais

Maestro. Arthur Kazuo Tojo Costa 317497. Universidade Federal de São Carlos Campus Sorocaba Bacharelado em Ciência da Computação

Maestro. Arthur Kazuo Tojo Costa 317497. Universidade Federal de São Carlos Campus Sorocaba Bacharelado em Ciência da Computação Maestro Arthur Kazuo Tojo Costa 317497 Universidade Federal de São Carlos Campus Sorocaba Bacharelado em Ciência da Computação Introdução Sistema Operacional de Redes Detalhes do hardware Multiplexação

Leia mais

Curso PHP Aula 08. Bruno Falcão brunogfalcao@gmail.com

Curso PHP Aula 08. Bruno Falcão brunogfalcao@gmail.com + Curso PHP Aula 08 Bruno Falcão brunogfalcao@gmail.com + Roteiro Conectividade com BD SQL + SQL Structured Query Language. Padrão para interagir com banco de dados relacionais. + Banco de dados Um banco

Leia mais

ESTUDO SOBRE A TECNOLOGIA DE BANCO DE DADOS NoSQL

ESTUDO SOBRE A TECNOLOGIA DE BANCO DE DADOS NoSQL ESTUDO SOBRE A TECNOLOGIA DE BANCO DE DADOS NoSQL Autores: Nicolas Ignácio RYBERG 1,2 ;; Angelo Augusto FROZZA 3 Identificação autores: 1 Bolsista PIBIC-EM/CNPq;; 2 Aluno do curso Técnico em Informática

Leia mais