MARCELO NAGY CICLO DE PALESTRAS EM TI

Tamanho: px
Começar a partir da página:

Download "MARCELO NAGY CICLO DE PALESTRAS EM TI"

Transcrição

1 BIG DATA NA PRÁTICA MARCELO NAGY CICLO DE PALESTRAS EM TI Marcelo Nagy Formação Tecnologias

2 Big Data A era das grandes massas de dados já começou. Usuários são agora fontes de dados. Empresas armazenam incontáveis informações de clientes e milhões de sensores monitoram o mundo real, criando e trocando dados na Internet das coisas. Uma variedade de informações é gerada não só por cientistas, empresas e governos, como acontecia antes, mas também pela população em geral. As arquiteturas em nuvem obrigam indivíduos e organizações a lidam com um verdadeiro dilúvio de dados. Estes dados são úteis? Estes dados estão correlacionados? Como garimpar informações destes dados? Aumento dos dados armazenados estimados pela IDC Fonte: IDC s Digital Universe Study, patrocinado pela EMC, Junho de 2011 Armazenamento em exabytes Curiosidades

3 20 gigabytes tem a coleção de trabalhos do Beethoven 2 terabytes em média uma biblioteca acadêmica 11 petabytes total de mensagens de correio eletrônico em um ano 5 exabytes total de palavras ditas pelos humanos 200 petabytes todo material impresso no mundo Escalas 3 V's Velocidade Volume Variedade Volume + variedade + velocidade de geração de dados são os elementos que compõe o Big Data. Possibilidade de localizar, peneirar e analisar informações úteis.

4 A proposta ambiciosa do Big Data é ajudar empresas a decidir com base em evidências e analisadas continuamente. 3 V's Os sistemas tradicionais atuais não estão preparados para tratar certas coleções de dados: A previsão é que passaremos da faixa de muitos gigabytes (bilhões de bytes) ou poucos terabytes (trilhões) para a faixa de petabytes (milhares de trilhões) ou até mesmo exabytes (milhões de trilhões). Um disco rígido comum tem atual mente em torno de 1 terabyte. O LHC, o maior acelerador de partículas do mundo armazena 15 petabytes por ano de dados na forma original. É o equivalente a 15 mil discos rígidos cheios. Velocidade significa que esses dados são enviados aos nossos sistemas com uma taxa de bytes por intervalo de tem po muito alta. Como saber o que guardar e guardar cada vez mais rápido é o desafio! Guardar informação qualquer que seja permite que, mais tarde, exista uma disponibilidade que pode ser aproveitada em uma oportunidade não identificada previamente. Uma das principais aplicações de ter à disposição uma grande quantidade de dados é descobrir algo novo. Analisando e criando um modelo de execução a partir de exemplos, podemos fazer com que um computador aprenda a reconhecer padrões ou fazer previsões.

5 3 V's Os dados gerados ultrapassam significativamente as capacidades de armazenamento das estruturas. Desta forma, se torna imprescindível a concepção de novos procedimentos para o tratamento de dados. Não é descartada a possibilidade de que novas observações sejam feitas com relação aos mesmos dados. Para comparar todos os pares de uma coleção qualquer (nomes, CPFs, número de telefones, compras, endereços etc.), precisamos gastar um tempo proporcional ao quadrado da quantidade de dados. Variedade significa que os dados aparecem em formas diferentes, facilmente descritos na forma de tabelas, textos, imagens, etc. Precisamos melhorar nossos algoritmos, buscar soluções aproximadas caso contrário, o processamento se torna inviável. Soluções paralelas permitem desempenho superlinear, isto é, o aumento de velocidade é maior do que o aumento do número exigido de processadores. Exemplos de classificação de Big Data Uma apresentação de 40 megabytes representa uma grande massa de dados se não for possível enviá la por correio eletrônico a um colega ou cliente; Uma imagem médica de 1 terabyte representa uma grande massa de dados se não for possível exibi la de forma simples e acurada em uma tela remota em tempo real durante uma consulta médica com um paciente; Um filme de 1 petabyte representa uma grande massa de dados se não for possível editálo a tempo.

6 Big Data no comércio Quantas informações são geradas em cada venda em uma rede de supermercados? E se essas informações forem cruzadas com mensagens em redes sociais sobre mercados, produtos, receitas e notícias na mídia e de cartão de crédito? Raciocinando dessa forma, sistemas que analisam toda essa informação permitem a obtenção tanto de perfis de consumo individualizados quanto da experiência de compra do cliente e seus gastos. Big Data na indústria Um dos fatores que aumentaram a quantidade de dados foi a multiplicação dos sensores de vários tipos de câmeras de alta definição a simples contadores ou termômetros. A maioria das casas já tem equipamentos que fornecem informação aos seus produtores ou provedores de serviço, como computadores, equipamentos de TV a cabo e celulares. Já temos geladeiras ligadas à internet,para informar seu estado ou ritmo de consumo. Isto mostra que Big Data já esta bem próximo do nosso dia a dia.

7 Big Data no Brasil No Brasil, em especial, a indústria de petróleo é grande criadora de dados. Em dezembro do ano passado, o Banco de Dados de Exploração, mantido pela Agência Nacional de Petróleo (ANP), continha 4,57 petabytes. Os dados desse banco da ANP são usados por várias empresas de petróleo, que produzem ainda mais informação.a partir deles, são gerados imagens e filmes que são analisados e geram textos e relatórios, que, por sua vez, geram investimentos financeiros,

8 movimentos da bolsa e notícias na mídia. Como país de grandes proporções e com uma população de aproximadamente 200 milhões de pessoas, algumas bases de dados aqui já traziam problemas de Big Data antes que esse nome fosse criado. Desafios i) Como adquirir; ii) Armazenar; iii) Processar; iv) Transmitir e disseminar; v) Gerenciar e manter; vi) Arquivar por longo prazo; vii) Garantir a segurança; viii) Treinar pessoas para usá los; ix) Pagar por tudo isso.

9 Ainda podemos adicionar a esses desafios, como entendê los de forma isolada e como relacioná los. Desafios Um desafio importante é entender como esses dados evoluem. Essa tarefa criará, em 2015, segundo a grande empresa norte americana de consultoria Gartner Group, cerca de 4,4 milhões de empregos muitos deles para profissionais capacitados a analisar esses dados, em um mercado mundial avaliado, já para este ano, em US$ 34 bilhões (cerca de R$ 70 bilhões). Grandes empresas de computação já orientam suas linhas de produtos e serviços para atender a esse mercado. Uma questão crítica é como armazená los de forma que possam ser rapidamente encontrados e manipulados.um dos grandes desenvolvimentos tecnológicos em computação do século passado foram os Sistemas de Gerenciamento de Banco de Dados (SGBDs). Desafios

10 São eles que permitem que tratemos de forma eficiente milhões de contas bancárias e outros sistemas que basicamente fazem o gerenciamento de transações. Os SGBDs compartilham uma linguagem chamada SQL (sigla, em inglês, para linguagem de consulta estruturada), e o modo de organizar essas tabelas para condições ótimas de acesso é bem conhecida. Com novos tipos de dados, essa tecnologia não é eficiente. Para alguns, o caminho parece ser o que denominamos bancos de dados No SQL ou outros ainda mais especializados. Desafios Outro caminho é a paralelização do processamento. Essa paralelização se dá em muitos níveis, como um computador com vários processadores (chips); em processadores com vários núcleos; ou pela união de computadores para formar uma rede que age como um supercomputador, por exemplo. Há ainda a opção do processamento em nuvem. Propostas como o programa livre Hadoop baseado no MapReduce, um dos mecanismos que fazem o Google funcionar permitem que um problema seja dividido por várias máquinas e, depois, tenha seu resultado agregado em uma máquina central. Exemplos

11 No Japão, uma rede de milhares de sensores permite detectar terremotos e avisar a população. Empresas de cotação de preços, bem como as de vendas pela internet, analisam o perfil dos clientes, para dar sugestões de consumo. Instituições financeiras e governos avaliam milhões de transações financeiras em busca de fraudes. Ética e Big Data Não podemos deixar de lembrar que Big Data também traz à tona novos problemas éticos. O que empresas e governos fazem com tantos dados privados? Que informação pode ser deduzida a partir de dados? O uso das informações que estamos guardando e analisando pode ter resultados não

12 desejados. É famosa a história do caso de um pai que descobriu, por meio da propaganda direcionada de uma rede norte americana de lojas de varejo, que sua filha adolescente estava grávida fato que havia sido detectado pelos algoritmos da empresa. Ética e Big Data A disponibilidade dessas grandes bases de dados e a viabilidade de sua interligação permitem que imaginemos aplicações que salvam ou prejudicam vidas. Fazer

13 um julgamento ético ou moral de uma tecnologia não é questão simples. Melvin Kranzberg ( ), que disse: A tecnologia não é boa nem é má, nem é neutra. Não devemos esquecer o ditado que diz: informação é poder. Clusters Uma solução para agilizar e viabilizar a análise das grandes massas de dados é a partir das arquiteturas em aglomeração (cluster). Escalabilidade, a agilidade e a elasticidade dos recursos são pré requisitos muito importantes para a análise das grandes massas de dados. Uma questão chave, entretanto, é como as arquiteturas em aglomeração podem atingir todas essas características. Considerando, por exemplo, que a Google possua milhões de núcleos de processadores em todos os seus centros de dados, apesar desses componentes falharem com frequência, componentes redundantes fazem com que essas falhas sejam imperceptíveis aos usuários.

14 Hadoop O Hadoop foi desenvolvido para aproveitar os recursos e a estrutura disponível em uma arquitetura em aglomeração (cluster). O objetivo é possibilitar que as aplicações utilizem todo o potencial de um aglomerado ao levar em consideração dois pontos chave: (i) a distribuição dos dados pelo aglomerado, assegurando que os dados estejam distribuídos igualmente; (ii) o desenvolvimento de aplicações que se beneficiem da localização dos dados. Hadoop Esses dois pontos fundamentais levam o projeto do Hadoop a empregar dois mecanismos: Sistema de Arquivos Distribuído (Hadoop Distributed File System HDFS) que é um sistema de arquivos para dividir, espalhar, replicar e gerenciar dados ao longo dos nós em um cluster; Namenode Datanode

15 Hadoop O MapReduce que é um mecanismo computacional para executar aplicações em paralelo. As aplicações são executadas através da divisão em tarefas que manipulam apenas uma parcela dos dados, coletando e redistribuindo resultados intermediários e gerenciando falhas através de todos os nós do aglomerado. JobTracker Coordena todas as tarefas executadas no sistema através da divisão da tarefa em rotinas e para agendar cada uma dessas tarefas para serem executadas em um nó. O JobTracker também mantém informações de todos os nós participantes da computação, monitora os status individuais, orquestra o fluxo de dados e se encarrega de contornar as falhas dos nós; TaskTracker Executam tarefas e enviam relatórios de progresso ao JobTracker. Caso a tarefa falhe, o JobTracker pode reagendá la em um TaskTracker diferente. O TaskTracker mantém informacões de todas as tarefas em execução em seus nós, seja uma tarefa de mapeamento ou redução. Instalação do Hadoop Instalação de um pseudo cluster em uma máquina linux. Alterar os hosts das máquinas

16 para as máquinas poderem se conectar. Instalar o ssh nas máquinas do cluster. Configurar o repositório da cloudera no linux. Instalando sudo apt get install hadoop 0.20 conf pseudo Instala o core do hadoop configurado para rodar em uma máquina. sudo u hdfs hdfs namenode format Formata o NameNode os metadados do namenode ficam na pasta /var/lib/hadoop

17 hdfs/cache/hdfs/dfs/name Configurar o alternatives /etc/hadoop/conf link simbólico para /etc/alternatives/hadoop conf Instalação do Hadoop $ for service in /etc/init.d/hadoophdfs * do sudo $service start done iniciar os serviços da hdfs

18 criar a pasta temporária do hdfs $ sudo u hdfs hadoop fs mkdir /tmp alterar a permissão da pasta para que todos o componentes do hadoop possam utilizá la $ sudo u hdfs hadoop fs chmod R 1777 /tmp criar as pastsas que o mapreduce utilizam e dar suas permissões $ sudo u hdfs hadoop fs mkdir \ /var/lib/hadoophdfs/cache/mapred/mapred/staging Instalação do Hadoop

19 $ sudo u hdfs hadoop fs chmod 1777 \/var/lib/hadoophdfs/cache/mapred/mapred/staging $ sudo u hdfs hadoop fs chown R \mapred /var/lib/hadoophdfs/cache/mapred for service in /etc/init.d/hadoop 0.20 mapreduce * do sudo $service start done iniciar os serviços do MapReduce sudo jps verificar os serviços comandos básicos $ hadoop fs mkdir input

20 $ hadoop fs put shakespeare.txt input $ hadoop fs ls input $ hadoop fs tail input/shakespeare.txt Flume O flume é utilizado para inserir logs no hdfs em real time. Implementa transações. Instalando o flume sudo apt get install flume ng Criando a pasta no hdfs que receberá os logs hadoop fs mkdir flume/collector1 Criando o arquivo de configuração do flume /etc/hadoop/conf/ flume conf.properties Flume

21 conteúdo do arquivo tail1.sources = src1 tail1.channels = ch1 tail1.sinks = sink1 tail1.sources.src1.type = exec tail1.sources.src1.command = tail F /tmp/access_log tail1.sources.src1.channels = ch1 tail1.channels.ch1.type = memory tail1.channels.ch1.capacity = 500 tail1.sinks.sink1.type = avro tail1.sinks.sink1.hostname = localhost tail1.sinks.sink1.port = 6000 tail1.sinks.sink1.batch size = 1 tail1.sinks.sink1.channel = ch1

22 ## collector1.sources = src1 collector1.channels = ch1 collector1.sinks = sink1 collector1.sources.src1.type = avro collector1.sources.src1.bind = localhost collector1.sources.src1.port = 6000 collector1.sources.src1.channels = ch1 collector1.channels.ch1.type = memory collector1.channels.ch1.capacity = 500 collector1.sinks.sink1.type = hdfs collector1.sinks.sink1.hdfs.path =

23 flume/collector1 collector1.sinks.sink1.hdfs.fileprefix = access_log collector1.sinks.sink1.channel = ch1 Flume Startar o flume sudo service flume ng agent start sudo hadoop fs ls flume/collector1 Scoop Instalando Scoop sudo apt get install scoop Criar um link simbolico para o jdbc que o scoop ira' utilizar.

24 sudo ln s /usr/share/java/mysql connector java.jar /usr/lib/sqoop/lib/ Scoop importa/exporta dados de um banco de dados relacional. Utiliza de um JDBC para se conectar a uma base de dados. sqoop import connect jdbc:mysql://localhost/movielens table movie fields terminated by '\t' username training password training MapReduce cat /my/log grep '\.html' sort uniq c > /my/outfile 1 mapeamento 2 ordenacao 3 reduce MapReduce exemplo contador de palavras 1 entrada the cat sat on the mat the aardvark sat on the sofa

25 2 dados intermediarios (the, 1), (cat, 1), (sat, 1), (on, 1), (the, 1), (mat, 1), (the, 1), (aardvark, 1), (sat, 1), (on, 1), (the, 1), (sofa, 1) MapReduce 3 entrada no reducer (aardvark, [1]) (cat, [1]) (mat, [1]) (on, [1, 1]) (sat, [1, 1]) (sofa, [1]) (the, [1, 1, 1, 1]) MapReduce

26 4 saida do reducer (aardvark, 1) (cat, 1) (mat, 1) (on, 2) (sat, 2) (sofa, 1) (the, 4) sudo hadoop jar seujar.java /diterotrio/hdfs/entrada /diterotrio/hdfs/saida Hive Criado pelo facebook. Hive foi criado para aproveitar o conhecimento previo em Sql. Suporta somente instrucoes de select, não realiza updates nem deletes. Transforma uma hivequery em um job MapReduce. Para o Hive Hive uma pasta no hdfs e' vista como uma tabela. Com o Hive e' possível unir diferentes bases. Os arquivos dentro da pasta em questao serao os dados da tabela. Intalando o hive sudo apt get install hive metastore sudo service hive metastore start shell hive hive Impala Projeto apache.o impala utiliza

27 hivequery, é cerca de 20 X mais rápido que o hive. O impala não utiliza jobs mapreduce. instalar o impala instalar o server em todos os datas nodes: sudo yum install impala server sudo service impala server start instalar o impala meta store em uma máquina: sudo apt get install impala statestore sudo service impala state store start

28 Instalar o shel do impala em uma ou mais ma'quinas: sudo yum install impala shell impala shell PIG Criado pelo yahoo. Abstracao em alto nivel de MapReduce. Linguagem similar ao Perl e Ruby. Maior facilidade para se criar MapReduces. Instalando o Pig sudo install pig Exemplo de codigo pig

29 movies = LOAD '/data/films' AS (id:int, name:string, year:int); ratings = LOAD '/data/ratings' AS (movie_id: int, user_id: int, score:int); jnd = JOIN movies BY id, ratings BY movie_id; recent = FILTER jnd BY year > 1995; srtd = ORDER recent BY name DESC; justafew = LIMIT srtd 50; STORE justafew INTO '/data/pigoutput'; para rodar um script pig

30 pig f seuscript.pig Solr Base de dados totalmente customizável, ferrammenta especializada, faz melhor o trabalho para buscas textuais. Performance melhor. Solr entende diferentes línguas. Solr tem funcoes especiais para buscas de texto ex. Highlighting. Busca com relevancia. Busca geoespacial. Redis Base de dados que trabalha como hash Consulta rapida aguenta muitas requisicoes. Excelente para implementar contadores e filas.

31 Temas relacionados Ozzie Yarn Hue Presto Mahout Ciclo de vida dos dados geração agregação análise apagamento

BIG DATA: UTILIZANDO A INTERNET PARA TOMADA DE DECISÕES

BIG DATA: UTILIZANDO A INTERNET PARA TOMADA DE DECISÕES BIG DATA: UTILIZANDO A INTERNET PARA TOMADA DE DECISÕES Alex Travagin Chatalov¹, Ricardo Ribeiro Rufino ¹ ¹Universidade Paranaense (Unipar) Paranavaí PR Brasil alex_tr1992@hotmail.com ricardo@unipar.br

Leia mais

BIG DATA INTRODUÇÃO. Humberto Sandmann humberto.sandmann@gmail.com

BIG DATA INTRODUÇÃO. Humberto Sandmann humberto.sandmann@gmail.com BIG DATA INTRODUÇÃO Humberto Sandmann humberto.sandmann@gmail.com Apresentação Humberto Sandmann humberto.sandmann@gmail.com Possui graduação em Ciências da Computação pelo Centro Universitário da Faculdade

Leia mais

Conceito de Big Data

Conceito de Big Data Conceito de Big Data O que são Dados? A palavra Dados é o plural de Datum em Latin que significava Dar", ou seja "algo dado". Dados como um conceito abstrato pode ser explicado como o mais baixo nível

Leia mais

Lab 2 MapReduce e o Console Web

Lab 2 MapReduce e o Console Web Lab 2 MapReduce e o Console Web Objetivos do Laboratório Neste laboratório você irá praticar o que você aprendeu nesta lição, mais especificamente você ira praticar as operações de MapReduce e aprender

Leia mais

Big Data Definição, Desafios e Análise de dados Seminário da disciplina IN940 - Banco de Dados

Big Data Definição, Desafios e Análise de dados Seminário da disciplina IN940 - Banco de Dados Big Data Definição, Desafios e Análise de dados Seminário da disciplina IN940 - Banco de Dados Aluno: Victor Santos Professor: Ana Carolina Fernando Fonseca AGENDA 1 - O que é Big Data? 2 - Impactos do

Leia mais

Big Data e Hadoop A nova fronteira para inovação

Big Data e Hadoop A nova fronteira para inovação Big Data e Hadoop A nova fronteira para inovação Fabio Velloso Fabio Velloso Bio Bacharel em Ciência da Computação - UFSCar MBA - FGV Programador Java desde 1996 Fundador do SouJava Gerente de Arquitetura

Leia mais

Tipos de Sistemas Distribuídos (Cluster e Grid)

Tipos de Sistemas Distribuídos (Cluster e Grid) Tipos de Sistemas Distribuídos (Cluster e Grid) Sistemas Distribuídos Mauro Lopes Carvalho Silva Professor EBTT DAI Departamento de Informática Campus Monte Castelo Instituto Federal de Educação Ciência

Leia mais

Boas Práticas em Sistemas Web muito além do HTML...

Boas Práticas em Sistemas Web muito além do HTML... Boas Práticas em Sistemas Web muito além do HTML... Adriano C. Machado Pereira (adrianoc@dcc.ufmg.br) De que Web estamos falando? De que Web estamos falando? A Web foi concebida para ser uma biblioteca

Leia mais

(HDFS) Usando o. hadoop_

(HDFS) Usando o. hadoop_ hadoop_ Usando o Hadoop Distributed File System (HDFS) Hadoop File System (HDFS) é o componente do O Hadoop responsável pela persistência de dados de forma distribuída, constituindo a principal funcionalidade

Leia mais

BIG DATA Armazenamento e Gerenciamento de grandes volumes de dados

BIG DATA Armazenamento e Gerenciamento de grandes volumes de dados BIG DATA Armazenamento e Gerenciamento de grandes volumes de dados Carlos Marques Business Development Manager, Data Connectivity and Integration Latin America & Caribbean Market (CALA) O que veremos hoje?

Leia mais

3 0 ENCONTRO DE USUÁRIOS DE BI

3 0 ENCONTRO DE USUÁRIOS DE BI 3 0 ENCONTRO DE USUÁRIOS DE BI Contextualizando Durante o segundo encontro de usuários de BI, o tema Big Data surgiu várias vezes durante as discussões e prometemos que seria assunto de um próximo evento.

Leia mais

XDR. Solução para Big Data.

XDR. Solução para Big Data. XDR Solução para Big Data. ObJetivo Principal O volume de informações com os quais as empresas de telecomunicações/internet têm que lidar é muito grande, e está em constante crescimento devido à franca

Leia mais

23/05/12. Computação em Nuvem. Computação em nuvem: gerenciamento de dados. Computação em Nuvem - Características principais

23/05/12. Computação em Nuvem. Computação em nuvem: gerenciamento de dados. Computação em Nuvem - Características principais Computação em Nuvem Computação em nuvem: gerenciamento de dados Computação em nuvem (Cloud Computing) é uma tendência recente de tecnologia cujo objetivo é proporcionar serviços de Tecnologia da Informação

Leia mais

Grandes Massas de Dados na Nuvem: Desafios e Técnicas para Inovação

Grandes Massas de Dados na Nuvem: Desafios e Técnicas para Inovação Capítulo 1 Grandes Massas de Dados na Nuvem: Desafios e Técnicas para Inovação Luís Henrique M. K. Costa 1, Marcelo D. de Amorim 2, Miguel Elias M. Campista 1, Marcelo G. Rubinstein 3, Patricia Florissi

Leia mais

MC714A - 2º Semestre 2015. Nomes: Roberto Hayasida Mariane Previde Cibelle Begalli

MC714A - 2º Semestre 2015. Nomes: Roberto Hayasida Mariane Previde Cibelle Begalli MC714A - 2º Semestre 2015 Nomes: Roberto Hayasida Mariane Previde Cibelle Begalli RAs:103984 121192 135334 Facebook Introdução Os 4 grandes tipos de sistemas de armazenamento utilizados no Facebook: OLTP

Leia mais

Introdução à Computação na Nuvem Markus Endler

Introdução à Computação na Nuvem Markus Endler http://picasaweb.google.com/markus.endler/favorites?feat=directlink directlink Introdução à Computação na Nuvem Markus Endler Agenda História e Contexto Definições i e Tipos Exemplos de Cloud computing

Leia mais

Faculdade Integrada do Ceará FIC Graduação em Redes de Computadores

Faculdade Integrada do Ceará FIC Graduação em Redes de Computadores Faculdade Integrada do Ceará FIC Graduação em Redes de Computadores Disciplina - Sistemas Distribuídos Prof. Andrey Halysson Lima Barbosa Aula 8 Sistema de Arquivos Distribuído Sumário Problemas Solução

Leia mais

Big Data 14/12/2012 PÓS-GRADUAÇÃO LATO SENSU. Curso: Banco de Dados. = volume + variedade + velocidade de dados

Big Data 14/12/2012 PÓS-GRADUAÇÃO LATO SENSU. Curso: Banco de Dados. = volume + variedade + velocidade de dados PÓS-GRADUAÇÃO LATO SENSU Big Data Curso: Banco de Dados Disciplina: Data Warehouse e Business Intelligence Professor: Fernando Zaidan Unidade 7 Big Data 2012 Big Data - Contexto Globalização Modelo just

Leia mais

Tecnologias para Gerenciamento de Dados na Era do Big Data

Tecnologias para Gerenciamento de Dados na Era do Big Data Tecnologias para Gerenciamento de Dados na Era do Big Data Victor Teixeira de Almeida 1,2 Vitor Alcântara Batista 1 1 PETROBRAS 2 Universidade Federal Fluminense (UFF) Importante A Petrobras não é responsável

Leia mais

SERVIDOR WEB + LOG DE ACESSO LABORATÓRIO DE REDES DE COMPUTADORES Responsável: Ana Luíza Cruvinel

SERVIDOR WEB + LOG DE ACESSO LABORATÓRIO DE REDES DE COMPUTADORES Responsável: Ana Luíza Cruvinel Versão 2.0 1. INTRODUÇÃO SERVIDOR WEB + LOG DE ACESSO LABORATÓRIO DE REDES DE COMPUTADORES Responsável: Ana Luíza Cruvinel Data: 02/12/2014 Logs são muito importantes para a administração segura de sistemas,

Leia mais

Big Data e Análise de Dados: Tendências e Aplicações em Projetos. Marcus Borba. Apresentação

Big Data e Análise de Dados: Tendências e Aplicações em Projetos. Marcus Borba. Apresentação Big Data e Análise de Dados: Tendências e Aplicações em Projetos Marcus Borba 1 Apresentação Marcus Borba CTO - Spark Strategic Business Solution. 30 anos de experiência em tecnologia da informação.. 14

Leia mais

Computação em cluster

Computação em cluster Computação em cluster Por Marcos Pitanga em 30 de maio de 2003 Introdução Este artigo tem por finalidade dar ao leitor uma visão mais integrada do que vem a ser a computação em cluster e como esta a cada

Leia mais

REVISÃO LINUX CAP /SIN PROF. ESTRELA. e) os

REVISÃO LINUX CAP /SIN PROF. ESTRELA. e) os REVISÃO LINUX CAP /SIN PROF. ESTRELA 1 - Em um determinado servidor Linux, a saída do comando "df" aponta 100% de uso no "/". Isso significa que a(o): a) rede atingiu sua capacidade máxima de recepção.

Leia mais

Copyright 2012 EMC Corporation. Todos os direitos reservados.

Copyright 2012 EMC Corporation. Todos os direitos reservados. 1 A INFRAESTRUTURA DO FUTURO, HOJE Integrando Greenplum DCA e SAS para permitir estudos analíticos em big data Rafael Aielo Technology Consultant 2 O que é Greenplum? Adquirida pela EMC em julho de 2010

Leia mais

Resumo. Introdução Cluster Cluster Beowulf Curiosidades Conclução

Resumo. Introdução Cluster Cluster Beowulf Curiosidades Conclução Cluster Resumo Introdução Cluster Cluster Beowulf Curiosidades Conclução Introdução Sua empresa esta precisando fazer um grande processamento; As Nuvens existentes não são suficientes para sua empresa;

Leia mais

IT@Intel Como a Intel IT fez a migração bemsucedida para o Cloudera Apache Hadoop*

IT@Intel Como a Intel IT fez a migração bemsucedida para o Cloudera Apache Hadoop* Publicação técnica março de 2015 IT@Intel Como a Intel IT fez a migração bemsucedida para o Cloudera Apache Hadoop* A partir da nossa experiência com o software Apache Hadoop, a Intel IT identificou novas

Leia mais

Gerência de Banco de Dados

Gerência de Banco de Dados exatasfepi.com.br Gerência de Banco de Dados Prof. Msc. André Luís Duarte Banco de Dados Os bancos de dados são coleções de informações que se relacionam para criar um significado dentro de um contexto

Leia mais

INTERNET HOST CONNECTOR

INTERNET HOST CONNECTOR INTERNET HOST CONNECTOR INTERNET HOST CONNECTOR IHC: INTEGRAÇÃO TOTAL COM PRESERVAÇÃO DE INVESTIMENTOS Ao longo das últimas décadas, as organizações investiram milhões de reais em sistemas e aplicativos

Leia mais

Big Data: Uma revolução a favor dos negócios

Big Data: Uma revolução a favor dos negócios Big Data: Uma revolução a favor dos negócios QUEM SOMOS Empresa especializada em Big Data e Analytics. Profissionais com larga experiência na gestão de bureaus de crédito, analytics e uso inteligente da

Leia mais

Ciência dos Dados. bruno.domingues@intel.com. Preparado por Intel Corporation Bruno Domingues Principal Architect. segunda-feira, 5 de agosto de 13

Ciência dos Dados. bruno.domingues@intel.com. Preparado por Intel Corporation Bruno Domingues Principal Architect. segunda-feira, 5 de agosto de 13 Ciência dos Dados Preparado por Intel Corporation Bruno Domingues Principal Architect bruno.domingues@intel.com Homem na Lua Software Data: 1969 64kb, 2kb, RAM, Fortran Tem que funcionar! Apolo XI Velocidade:

Leia mais

Startups e Computação em Nuvem: A Combinação Perfeita

Startups e Computação em Nuvem: A Combinação Perfeita Universidade Federal do Ceará Startups e Computação em Nuvem: A Combinação Perfeita Flávio R. C. Sousa flaviosousa@ufc.br @flaviosousa www.es.ufc.br/~flavio 2013 Introdução 2,7 bilhões de usuários na internet

Leia mais

Por que? A WEB está substituindo o desktop Google Gmail, Google Docs, Amazon, Flickr, Facebook, Twitter, YouTube Mudança de Paradigma:

Por que? A WEB está substituindo o desktop Google Gmail, Google Docs, Amazon, Flickr, Facebook, Twitter, YouTube Mudança de Paradigma: Por que? A WEB está substituindo o desktop Google Gmail, Google Docs, Amazon, Flickr, Facebook, Twitter, YouTube Mudança de Paradigma: Amazon Web Services Windows Azure Platform Google App Engine Evolução

Leia mais

Uma Breve Introdução. Andréa Bordin

Uma Breve Introdução. Andréa Bordin Uma Breve Introdução Andréa Bordin O que significa? NoSQL é um termo genérico que define bancos de dados não-relacionais. A tecnologia NoSQL foi iniciada por companhias líderes da Internet - incluindo

Leia mais

Microsoft Internet Explorer. Browser/navegador/paginador

Microsoft Internet Explorer. Browser/navegador/paginador Microsoft Internet Explorer Browser/navegador/paginador Browser (Navegador) É um programa que habilita seus usuários a interagir com documentos HTML hospedados em um servidor web. São programas para navegar.

Leia mais

Construa um Data Lake multi-protocolo e otimizado para analytics com ISILON. Fernando Pavan Isilon Specialist

Construa um Data Lake multi-protocolo e otimizado para analytics com ISILON. Fernando Pavan Isilon Specialist Construa um Data Lake multi-protocolo e otimizado para analytics com ISILON Fernando Pavan Isilon Specialist 1 Crescimento de Dados Não Estruturados 67% 74% 80% 2013 2015 2017 37 EB 71 EB 133 EB Capacidade

Leia mais

Informática Aplicada Revisão para a Avaliação

Informática Aplicada Revisão para a Avaliação Informática Aplicada Revisão para a Avaliação 1) Sobre o sistema operacional Windows 7, marque verdadeira ou falsa para cada afirmação: a) Por meio do recurso Windows Update é possível manter o sistema

Leia mais

MBA Analytics em Big Data

MBA Analytics em Big Data MBA Analytics em Big Data Inscrições Abertas Início das Aulas: 04/06/2015 Dias e horários das aulas: Segunda-Feira 19h00 às 23h00 Semanal Sexta-Feira 19h00 às 23h00 Semanal Carga horária: 600 Horas Duração:

Leia mais

LISTA DE COMANDOS DO LINUX 1

LISTA DE COMANDOS DO LINUX 1 LISTA DE COMANDOS DO LINUX 1 Comandos para manipulação de diretório 1. ls Lista os arquivos de um diretório. 2. cd Entra em um diretório. Você precisa ter a permissão de execução para entrar no diretório.

Leia mais

for Information Interchange.

for Information Interchange. 6 Memória: 6.1 Representação de Memória: Toda a informação com a qual um sistema computacional trabalha está, em algum nível, armazenada em um sistema de memória, guardando os dados em caráter temporário

Leia mais

Aula 1: Introdução à Disciplina Fonte: Plano de Aula Oficial da Disciplina

Aula 1: Introdução à Disciplina Fonte: Plano de Aula Oficial da Disciplina Programação para Internet Rica 1 Aula 1: Introdução à Disciplina Fonte: Plano de Aula Oficial da Disciplina Objetivo: Identificar os princípios que se destacam como características da Web 2.0. INTRODUÇÃO

Leia mais

INDICE 3.APLICAÇÕES QUE PODEM SER DESENVOLVIDAS COM O USO DO SAXES

INDICE 3.APLICAÇÕES QUE PODEM SER DESENVOLVIDAS COM O USO DO SAXES w w w. i d e a l o g i c. c o m. b r INDICE 1.APRESENTAÇÃO 2.ESPECIFICAÇÃO DOS RECURSOS DO SOFTWARE SAXES 2.1. Funcionalidades comuns a outras ferramentas similares 2.2. Funcionalidades próprias do software

Leia mais

Aula 7 Componentes de um Sistema de Informação Recursos e Atividades

Aula 7 Componentes de um Sistema de Informação Recursos e Atividades Aula 7 Componentes de um Sistema de Informação Recursos e Atividades Curso: Gestão de TI - UNIP Disciplina: Sistemas de Informação Professor: Shie Yoen Fang Ementa: Item 11 e Item 12 2ª semestre de 2011

Leia mais

SUPORTE DA TI A MELHORIA DO DESEMPENHO ORGANIZACIONAL

SUPORTE DA TI A MELHORIA DO DESEMPENHO ORGANIZACIONAL SUPORTE DA TI A MELHORIA DO DESEMPENHO ORGANIZACIONAL Referência Tecnologia da Informação para Gestão : Transformando os negócios na Economia Digital. Bookman, sexta edição, 2010. 2 FAZENDO NEGÓCIOS NA

Leia mais

Prof. Jefferson Costa www.jeffersoncosta.com.br

Prof. Jefferson Costa www.jeffersoncosta.com.br Prof. Jefferson Costa www.jeffersoncosta.com.br Preservação da: confidencialidade: Garantia de que o acesso à informação seja obtido somente por pessoas autorizadas. integridade: Salvaguarda da exatidão

Leia mais

Desenvolvendo e Integrando Serviços Multiplataforma de TV Digital Interativa

Desenvolvendo e Integrando Serviços Multiplataforma de TV Digital Interativa Desenvolvendo e Integrando Serviços Multiplataforma de TV Digital Interativa Agenda Introdução Aplicações interativas de TV Digital Desafios de layout e usabilidade Laboratório de usabilidade Desafios

Leia mais

Estratégia para dentificação dos fatores de maior impacto de aplicações Mapreduce

Estratégia para dentificação dos fatores de maior impacto de aplicações Mapreduce Estratégia para dentificação dos fatores de maior impacto de aplicações Mapreduce Fabiano da Guia Rocha Instituto Federal de Educação, Ciência e Tecnologia de Mato Grosso - Campus Cáceres Av. dos Ramires,

Leia mais

Programação de Computadores

Programação de Computadores Programação de Computadores Computadores: Ferramentas para a Era da Informação Material Didático do Livro: Introdução à Informática Capron,, H. L. e Johnson, J. A Pearson Education Componentes de um Sistema

Leia mais

Administração de Banco de Dados

Administração de Banco de Dados Administração de Banco de Dados Professora conteudista: Cida Atum Sumário Administração de Banco de Dados Unidade I 1 INTRODUÇÃO A BANCO DE DADOS...1 1.1 Histórico...1 1.2 Definições...2 1.3 Importância

Leia mais

Gabarito - Banco de Dados SQL - 30/07/2013 AULA 01

Gabarito - Banco de Dados SQL - 30/07/2013 AULA 01 Gabarito - Banco de Dados SQL - 30/07/2013 AULA 01 1 1- Bancos de dados compreendem desde agendas telefônicas até sistemas computadorizados. (Sim) 2- Só podemos instalar o SQL Server Express se tivermos

Leia mais

Cluster HPC High Performance Computing.

Cluster HPC High Performance Computing. Faculdade de Tecnologia de Guaratinguetá. doze, março de 2009. Cluster HPC High Performance Computing. Diogo Salles, Thiago Pirro, Camilo Bernardes, Paulo Roberto, Ricardo Godoi, Douglas, Fauzer. Sistemas

Leia mais

Fabricante Reduz os Custos, Melhora o Serviço e Dinamiza o Gerenciamento com a Virtualização

Fabricante Reduz os Custos, Melhora o Serviço e Dinamiza o Gerenciamento com a Virtualização Virtualização Microsoft: Da Estação de Trabalho ao Data Center Estudo de Caso de Solução de Cliente Fabricante Reduz os Custos, Melhora o Serviço e Dinamiza o Gerenciamento com a Virtualização Visão Geral

Leia mais

Seguros em um mundo conectado. As novas gerações e as novas formas de negócio

Seguros em um mundo conectado. As novas gerações e as novas formas de negócio Seguros em um mundo conectado As novas gerações e as novas formas de negócio A IBM realiza investimentos significativos em pesquisa e desenvolvimento para trazer pensamento inovador IBM Industry Models

Leia mais

Universidade Federal do Espírito Santo Centro de Ciências Agrárias CCA-UFES Departamento de Computação

Universidade Federal do Espírito Santo Centro de Ciências Agrárias CCA-UFES Departamento de Computação - Centro de Ciências Agrárias Departamento de Computação Os sistemas de informação empresariais na sua carreira Introdução à Ciência da Computação Introdução à Ciência da Computação COM06850-2015-II Prof.

Leia mais

Prof.: Roberto Franciscatto. Capítulo 1 Introdução

Prof.: Roberto Franciscatto. Capítulo 1 Introdução Sistemas Operacionais Prof.: Roberto Franciscatto Capítulo 1 Introdução Conceituação Um Sistema Operacional tem como função principal gerenciar os componentes de hardware (processadores, memória principal,

Leia mais

ACESSIBILIDADE INOVADORA. UMA ÁREA DE TRABALHO ÚNICA. BENEFÍCIOS INCONTÁVEIS PARA O SEU FLUXO DE TRABALHO. Radiology

ACESSIBILIDADE INOVADORA. UMA ÁREA DE TRABALHO ÚNICA. BENEFÍCIOS INCONTÁVEIS PARA O SEU FLUXO DE TRABALHO. Radiology Vue PACS Radiology UMA ÁREA DE TRABALHO ÚNICA. BENEFÍCIOS INCONTÁVEIS PARA O SEU FLUXO DE TRABALHO. Já está aqui: acesso rápido e fácil a todas as ferramentas e aplicações clínicas dos quais os radiologistas

Leia mais

Sistema de Atendimento v1.3 Manual de Instalação v1.0

Sistema de Atendimento v1.3 Manual de Instalação v1.0 Sistema de Atendimento v1.3 Manual de Instalação v1.0 Brasília, 29 de junho de 2010 Sumário Licença deste Documento...3 Introdução ao Sistema de Atendimento...4 Características e módulos...4 Arquitetura...5

Leia mais

Banco de Dados, Integração e Qualidade de Dados. Ceça Moraes cecafac@gmail.com

Banco de Dados, Integração e Qualidade de Dados. Ceça Moraes cecafac@gmail.com Banco de Dados, Integração e Qualidade de Dados Ceça Moraes cecafac@gmail.com Sobre a professora CeçaMoraes Doutora em Computação (UFPE) Áreas de atuação Desenvolvimento de Software e Banco de Dados Experiência

Leia mais

Cogent DataHub v7.0. A próxima geração em soluções para troca de dados em tempo real

Cogent DataHub v7.0. A próxima geração em soluções para troca de dados em tempo real Cogent DataHub v7.0 A próxima geração em soluções para troca de dados em tempo real Cogent é reconhecida como uma líder no segmento de soluções de middleware no domínio do tempo real. E, com a introdução

Leia mais

The Eucalyptus Open- source Cloud-computing System. Janaina Siqueira Lara Wilpert Marcelo Scheidt Renata Silva

The Eucalyptus Open- source Cloud-computing System. Janaina Siqueira Lara Wilpert Marcelo Scheidt Renata Silva The Eucalyptus Open- source Cloud-computing System Janaina Siqueira Lara Wilpert Marcelo Scheidt Renata Silva Sumário Introdução Trabalhos Correlatos Eucalyptus Design Conclusões Visão Geral Introdução:

Leia mais

A tecnologia revoluciona a Distribuição e os Canais Digitais

A tecnologia revoluciona a Distribuição e os Canais Digitais Sexta Conseguro Confederação Nacional de Empresas de Seguros Gerais, Previdência Privada e Vida, Saúde Suplementar e Capitalização (CNSeg) A tecnologia revoluciona a Distribuição e os Canais Digitais Apresentação

Leia mais

Análises Preditivas com uso do BIG DATA. Um estudo de caso

Análises Preditivas com uso do BIG DATA. Um estudo de caso Análises Preditivas com uso do BIG DATA Um estudo de caso BIG DATA Conceitualmente um ambiente de infinitas possibilidades O que sabemos é uma gota, o que ignoramos é um oceano (Isaac Newton) BIG DATA

Leia mais

ESTRUTURA DE SERVER 2008. Lílian Simão Oliveira

ESTRUTURA DE SERVER 2008. Lílian Simão Oliveira ESTRUTURA DE ARMAZENAMENTO SQL SERVER 2008 Lílian Simão Oliveira O Banco de Dados SQL Server mapeia um banco em um conjunto de arquivos do sistema operacional As informações de log e de dados nunca ficam

Leia mais

ARQUITETURA DE COMPUTADORES

ARQUITETURA DE COMPUTADORES ARQUITETURA DE COMPUTADORES Aula 02: Conceitos Básicos Conceitos Básicos Conceitos fundamentais: dado, informação e processamento de dados Conceitos de algoritmo, algoritmo ótimo, hardware. Software e

Leia mais

Processos (Threads,Virtualização e Migração de Código)

Processos (Threads,Virtualização e Migração de Código) Processos (Threads,Virtualização e Migração de Código) Roteiro Processos Threads Virtualização Migração de Código O que é um processo?! Processos são programas em execução. Processo Processo Processo tem

Leia mais

Proteção de ambientes Microsoft Hyper-V 3.0 com Arcserve

Proteção de ambientes Microsoft Hyper-V 3.0 com Arcserve Proteção de ambientes Microsoft Hyper-V 3.0 com Arcserve Desafios do cliente Hoje em dia, você enfrenta desafios como acordos de nível de serviço exigentes e limitações de equipe e orçamento. Você procura

Leia mais

Soluções em. Cloud Computing. Midia Indoor. para

Soluções em. Cloud Computing. Midia Indoor. para Soluções em Cloud Computing para Midia Indoor Resumo executivo A Midia Indoor chegou até a Under buscando uma hospedagem para seu site e evoluiu posteriormente para uma solução cloud ampliada. A empresa

Leia mais

AULA 1 PHP O QUE É APACHE FRIENDS

AULA 1 PHP O QUE É APACHE FRIENDS O QUE É PHP Se você já programa PHP, aconselho que pule para o capítulo 7 desse livro. Pois até esse capitulo iremos abordar algoritmos em PHP até a construção de uma classe com seus métodos e atributos

Leia mais

Instituto de Educação Tecnológica Pós-graduação Gestão e Tecnologia da Informação - Turma 25 20/03/2015. Big Data Analytics:

Instituto de Educação Tecnológica Pós-graduação Gestão e Tecnologia da Informação - Turma 25 20/03/2015. Big Data Analytics: Instituto de Educação Tecnológica Pós-graduação Gestão e Tecnologia da Informação - Turma 25 20/03/2015 Big Data Analytics: Como melhorar a experiência do seu cliente Anderson Adriano de Freitas RESUMO

Leia mais

Treinamento PostgreSQL Cluster de Banco de Dados - Aula 01

Treinamento PostgreSQL Cluster de Banco de Dados - Aula 01 Treinamento PostgreSQL Cluster de Banco de Dados - Aula 01 Eduardo Ferreira dos Santos SparkGroup Treinamento e Capacitação em Tecnologia eduardo.edusantos@gmail.com eduardosan.com 13 de Junho de 2013

Leia mais

Universidade Federal do Espírito Santo Centro de Ciências Agrárias CCA-UFES Departamento de Computação

Universidade Federal do Espírito Santo Centro de Ciências Agrárias CCA-UFES Departamento de Computação - Centro de Ciências Agrárias Departamento de Computação Organização Básica de um Computador Introdução à Ciência da Computação Introdução à Ciência da Computação COM06850-2015-II Prof. Marcelo Otone Aguiar

Leia mais

PROCESSOS COMPONENTES DE UM PROCESSO. A execução de um processo possui vários componentes. PID e PPID

PROCESSOS COMPONENTES DE UM PROCESSO. A execução de um processo possui vários componentes. PID e PPID PROCESSOS Um processo é um canal de comunicação entre os programas que estão sendo executados no sistema operacional e o usuário, ou seja um processo é um programa que está sendo executado. No Linux /

Leia mais

Pesquisa FEBRABAN de Tecnologia Bancária 2013 O Setor Bancário em Números

Pesquisa FEBRABAN de Tecnologia Bancária 2013 O Setor Bancário em Números Pesquisa FEBRABAN de Tecnologia Bancária 2013 O Setor Bancário em Números Um sistema financeiro saudável, ético e eficiente é condição essencial para o desenvolvimento econômico, social e sustentável do

Leia mais

Introdução à Banco de Dados. Nathalia Sautchuk Patrício

Introdução à Banco de Dados. Nathalia Sautchuk Patrício Introdução à Banco de Dados Nathalia Sautchuk Patrício Histórico Início da computação: dados guardados em arquivos de texto Problemas nesse modelo: redundância não-controlada de dados aplicações devem

Leia mais

NOMES: Leonardo Claro Diego Lage Charles Tancredo Márcio Castro

NOMES: Leonardo Claro Diego Lage Charles Tancredo Márcio Castro NOMES: Leonardo Claro Diego Lage Charles Tancredo Márcio Castro O MySQL Cluster é versão do MySQL adaptada para um ambiente de computação distribuída, provendo alta disponibilidade e alta redundância utilizando

Leia mais

Kerio Exchange Migration Tool

Kerio Exchange Migration Tool Kerio Exchange Migration Tool Versão: 7.3 2012 Kerio Technologies, Inc. Todos os direitos reservados. 1 Introdução Documento fornece orientações para a migração de contas de usuário e as pastas públicas

Leia mais

2 Editoração Eletrônica

2 Editoração Eletrônica 8 2 Editoração Eletrônica A década de 80 foi um marco na história da computação. Foi quando a maioria dos esforços dos desenvolvedores, tanto de equipamentos, quanto de programas, foram direcionados para

Leia mais

MySQL para DBAs Oracle

MySQL para DBAs Oracle MySQL para DBAs Oracle Ricardo Portilho Proni ricardo@nervinformatica.com.br Esta obra está licenciada sob a licença Creative Commons Atribuição-SemDerivados 3.0 Brasil. Para ver uma cópia desta licença,

Leia mais

RELEASE F-STORE v. 3.0.0.0

RELEASE F-STORE v. 3.0.0.0 Curitiba (2015) ÍNDICE Aumento de performance no carregamento de imagens Assinatura de produtos Barra de busca flutuante Boleto como imagem Cadastro de cliente com Double opt-in Cadastro de SEO Carrinho

Leia mais

Curso Tecnológico de Redes de Computadores 5º período Disciplina: Tecnologia WEB Professor: José Maurício S. Pinheiro V. 2009-2

Curso Tecnológico de Redes de Computadores 5º período Disciplina: Tecnologia WEB Professor: José Maurício S. Pinheiro V. 2009-2 Curso Tecnológico de Redes de Computadores 5º período Disciplina: Tecnologia WEB Professor: José Maurício S. Pinheiro V. 2009-2 Aula 1 Conceitos da Computação em Nuvem A computação em nuvem ou cloud computing

Leia mais

Wisley Cristiano de Souza Milhomem INDEXAÇÃO DE TERMOS PARA UM SISTEMA DE RECUPERAÇÃO DA INFORMAÇÃO UTILIZANDO COMPUTAÇÃO DISTRIBUÍDA

Wisley Cristiano de Souza Milhomem INDEXAÇÃO DE TERMOS PARA UM SISTEMA DE RECUPERAÇÃO DA INFORMAÇÃO UTILIZANDO COMPUTAÇÃO DISTRIBUÍDA Wisley Cristiano de Souza Milhomem INDEXAÇÃO DE TERMOS PARA UM SISTEMA DE RECUPERAÇÃO DA INFORMAÇÃO UTILIZANDO COMPUTAÇÃO DISTRIBUÍDA Palmas - TO 2013 Wisley Cristiano de Souza Milhomem INDEXAÇÃO DE TERMOS

Leia mais

Hardware e Software. Exemplos de software:

Hardware e Software. Exemplos de software: Hardware e Software O hardware é a parte física do computador, ou seja, é o conjunto de componentes eletrônicos, circuitos integrados e placas, que se comunicam através de barramentos. Em complemento ao

Leia mais

http://blogging.avnet.com/weblog/cioinsights/tag/big-data/ Storm Processamento e análise real time para Big Data 7/24/12 Fabio Velloso

http://blogging.avnet.com/weblog/cioinsights/tag/big-data/ Storm Processamento e análise real time para Big Data 7/24/12 Fabio Velloso http://blogging.avnet.com/weblog/cioinsights/tag/big-data/ Storm Processamento e análise real time para Big Data Fabio Velloso Fabio Velloso Bio Bacharel em Ciência da Computação - UFSCar MBA FGV Desenvolvedor

Leia mais

SparkleShare. Arthur Henrique Danilo Inácio Luíla Oliveira Paulo Junior

SparkleShare. Arthur Henrique Danilo Inácio Luíla Oliveira Paulo Junior SparkleShare Arthur Henrique Danilo Inácio Luíla Oliveira Paulo Junior Principal Motivação Durante a UX HackFest em 2010, um grupo de OSS designers chegou a conclusão que não tinham uma boa ferrramenta

Leia mais

Sistemas Operacionais

Sistemas Operacionais Sistemas Operacionais Aula 6 Estrutura de Sistemas Operacionais Prof.: Edilberto M. Silva http://www.edilms.eti.br Baseado no material disponibilizado por: SO - Prof. Edilberto Silva Prof. José Juan Espantoso

Leia mais

CENTRO UNIVERSITÁRIO UNA DIRETORIA DE EDUCAÇÃO CONTINUADA, PESQUISA E EXTENSÃO CURSO DE PÓS GRADUAÇÃO ENGENHARIA DE SOFTWARE

CENTRO UNIVERSITÁRIO UNA DIRETORIA DE EDUCAÇÃO CONTINUADA, PESQUISA E EXTENSÃO CURSO DE PÓS GRADUAÇÃO ENGENHARIA DE SOFTWARE CENTRO UNIVERSITÁRIO UNA DIRETORIA DE EDUCAÇÃO CONTINUADA, PESQUISA E EXTENSÃO CURSO DE PÓS GRADUAÇÃO ENGENHARIA DE SOFTWARE NoSQL Banco de Dados Não Relacional ALUNO: Heitor Oliveira Silva PROFESSOR ORIENTADOR:

Leia mais

Arquiteturas Java Pragmá1cas para usar Big Data na Nuvem. Fabiane Bizinella Nardon (@fabianenardon) Fernando Babadopulos (@babadopulos)

Arquiteturas Java Pragmá1cas para usar Big Data na Nuvem. Fabiane Bizinella Nardon (@fabianenardon) Fernando Babadopulos (@babadopulos) Arquiteturas Java Pragmá1cas para usar Big Data na Nuvem Fabiane Bizinella Nardon (@fabianenardon) Fernando Babadopulos (@babadopulos) Nós e Big Data BigDataTailTargetDataScienceMachineLearningHiveHadoopCrunchMongoDBRedisAWS

Leia mais

Apresentação do Artigo

Apresentação do Artigo Apresentação do Artigo Web Search for a Planet: The Google Cluster Architecture Publicado em IEEE Micro Março 2003, pg.22-28 Luiz A.Barroso, Jeffrey Dean, Urs Hölze Frank Juergen Knaesel fknaesel@inf.ufsc.br

Leia mais

Laboratório do Framework Hadoop em Plataformas de Cloud e. Cluster Computing

Laboratório do Framework Hadoop em Plataformas de Cloud e. Cluster Computing Laboratório do Framework Hadoop em Plataformas de Cloud e Framework Hadoop em Plataformas de Cluster Computing Cloud Computing Eng. André Luiz Tibola. Mst. Raffael Bottoli Schemmer Prof. Dr. Cláudio Fernando

Leia mais

Pollyanna Gonçalves. Seminário da disciplina Banco de Dados II

Pollyanna Gonçalves. Seminário da disciplina Banco de Dados II Pollyanna Gonçalves Seminário da disciplina Banco de Dados II Web 2.0 vem gerando grande volume de dados Conteúdo gerado por redes sociais, sensores inteligentes, tecnologias de colaboração, etc. Novas

Leia mais

Desmis&ficando Tecnologias de Big Data. Victor Teixeira de Almeida Petrobras

Desmis&ficando Tecnologias de Big Data. Victor Teixeira de Almeida Petrobras Desmis&ficando Tecnologias de Big Data Victor Teixeira de Almeida Petrobras Importante A Petrobras não é responsável por qualquer informação con9da nesta apresentação. Todas as opiniões aqui emi9das são

Leia mais

Guia definitivo de ferramentas de Planejamento para Micro Empreendedores Individuais

Guia definitivo de ferramentas de Planejamento para Micro Empreendedores Individuais Guia definitivo de ferramentas de Planejamento para Micro Empreendedores Individuais Introdução O Brasil já tem 4,7 milhões de microempreendedores individuais, segundo dados de janeiro de 2015 da Receita

Leia mais

Instalação e configuração Linux CentOS 6.x

Instalação e configuração Linux CentOS 6.x Instalação e configuração Linux CentOS 6.x Objetivo: Instalar e configurar o sistema operacional Linux CentOS e efetuar suas configurações iniciais. 1- Abra o Virtuabox e clique em novo, e configure conforme

Leia mais

Prof. Daniela Barreiro Claro

Prof. Daniela Barreiro Claro Prof. Daniela Barreiro Claro Volume de dados muito grande Principais problemas em relação aos SGBD Relacionais é conciliar o tipo de modelo com a demanda da escalabilidade. Exemplo -Facebook Um crescimento

Leia mais

Apache Hadoop: conceitos teóricos e práticos, evolução e novas possibilidades

Apache Hadoop: conceitos teóricos e práticos, evolução e novas possibilidades Capítulo 3 Apache Hadoop: conceitos teóricos e práticos, evolução e novas possibilidades Alfredo Goldman, Fabio Kon, Francisco Pereira Junior, Ivanilton Polato e Rosangela de Fátima Pereira Abstract Advancements

Leia mais

Passos Preliminares: Acessando a máquina virtual via ssh.

Passos Preliminares: Acessando a máquina virtual via ssh. CIn/UFPE Sistemas de Informação Redes de Computadores Professor: Kelvin Lopes Dias Monitor: Edson Adriano Maravalho Avelar {kld,eama@cin.ufpe.br Instalando o APACHE, PHP (PHPADMIN), MySQL. Este tutorial

Leia mais

HadoopDB. Edson Ie Serviço Federal de Processamento de Dados - SERPRO

HadoopDB. Edson Ie Serviço Federal de Processamento de Dados - SERPRO HadoopDB Edson Ie Serviço Federal de Processamento de Dados - SERPRO Motivação Grandes massas de dados precisam ser processadas em clusters: 1 nó: 100TB@59MB/s = 23 dias Cluster com 1000 nós 33 min!!!

Leia mais

Sumário. 1. Instalação GVcollege... 4. 1.1. GVsetup... 4. 1.1.1. Instalação com Banco de dados... 6. 1.2. Configurações... 10

Sumário. 1. Instalação GVcollege... 4. 1.1. GVsetup... 4. 1.1.1. Instalação com Banco de dados... 6. 1.2. Configurações... 10 Sumário 1. Instalação GVcollege... 4 1.1. GVsetup... 4 1.1.1. Instalação com Banco de dados... 6 1.2. Configurações... 10 1.2.1. APS Licence Service... 11 1.2.2. APS Licence File... 11 1.2.3. DBXconfig...

Leia mais

Manual de Instalação. Instalação via apt-get

Manual de Instalação. Instalação via apt-get Manual de Instalação Instalação via apt-get Índice de capítulos 1 - Pré-requisitos para instalação......................................... 01 2 - Instalando o SIGA-ADM.................................................

Leia mais

Análise de Big Data Streams

Análise de Big Data Streams Análise de Big Data Streams Identificando e tratando fluxo Hadoop Marcelo Vaz Netto Nilson Moraes Filho 14/07/14 Propósito do Artigo Original Programming Your Network at Run-time for Big Data Applications

Leia mais