Alta performance no processamento de Big Data com Spark e Lambda Expressions. Claudio Fabio

Tamanho: px
Começar a partir da página:

Download "Alta performance no processamento de Big Data com Spark e Lambda Expressions. Claudio Seidi @claudio_seidi Fabio Velloso @fabiovelloso"

Transcrição

1 Alta performance no processamento de Big Data com Spark e Lambda Expressions Claudio Fabio

2 Cláudio Seidi Bacharel em Ciência da Computação - IME/USP Java desde 1998 Arquiteto de Sistemas desde 2001 Certificado Cloudera Atualmente na área de BI da Telefonica/VIVO

3 Fabio Velloso Consultor da Summa Technologies Co-Fundador e Diretor SouJava Bacharel em Ciência da Computação - UFSCar Professor de Arquitetura Orientada a Serviços - UFSCar Projetos com Java desde 1996 Ü Atualmente trabalhando em projetos de Integração, Big Data e Cloud Computing Y Palestrante em JavaOne, Abaporu, TDC, JustJava, Dia de Java, Café Brasil, Campus Party

4 Agenda Contexto Spark Aplicações API Arquiteturas

5 F Big Data - Um Minuto na Internet em horas 4.19 milhões 67 mil 600 mil 450 de conteúdo de buscas uploads de fotos logins uploads enviados 80 mil produtos vendidos 433 mil tweets downloads 3,4 mil uploads de s SectionName Fonte:

6 big data

7 Hadoop Framework open source em Java para processar um grande volume de dados em cluster de hardware commodity

8 F Hadoop Responsável por distribuir e armazenar dados no cluster Responsável pelo Processamento dos dados

9 Hadoop MAP Reduce MAP Worker all 1 for 1 reduce Worker Java for all Java 1 Dados de Entrada MAP Worker Dados de Intermediários reduce Worker Dados de saída Hadoop for all all 1 MAP Worker Hello World Java for 1 Hadoop 1 Hello 1 Java 1 World 1 reduce Worker Hadoop 1 Hello 1 Java 2 World 1 all 2 for 2 Batch

10 Hadoop / Map Reduce MapReduce possibilitou e difundiu o conceito de Big Data analítics Não é eficiente para analises mais complexas e multi-stage: Iterative Machine Learning & graph processing (não map/reduce) Iterative ad-hoc queries & Iterative algorithms Streaming processing

11 Doug Cutting e Spark It s easy to program, and it uses memory more efficiently, as not all intermediate data goes to disk. Over time, fewer projects will use MapReduce, and more will use Spark But it doesn t make MapReduce obsolete overnight

12 SPARK Fast and general engine for large-scale data processing Criado para Machine Learning Distribuído e Data Mining Abstração de alto nível API s em Java, Python e Scala e shell iterativo Mais rápido que Hadoop até 100 vezes?

13 Camadas Aplicações RDD based tables RDD Streams RDD Based Matrices RDD Based Graphs Spark Engine Spark SQL Spark Streaming (real time processing) MLlib (Machine Learning) GraphX (Graph Processing) Java Python Scala e API s Spark Core Resource Management Storage Spark Core Spark Libs

14 Camadas e HFDS Aplicações RDD based tables RDD Streams RDD Based Matrices RDD Based Graphs Spark Engine Spark SQL Spark Streaming (real time processing) MLlib (Machine Learning) GraphX (Graph Processing) Java Python Scala e API s Spark Core YARN HDFS Spark Core Spark Libs Resource/Cluster Manager Storage

15 Camadas Aplicações RDD based tables RDD Streams RDD Based Matrices RDD Based Graphs Spark Engine Spark SQL Spark Streaming (real time processing) MLlib (Machine Learning) GraphX (Graph Processing) Java Python Scala e API s Spark Core Standalone, YARN, Mesos HDFS, Lustre, EC2/S3 Spark Core Spark Libs Resource/Cluster Manager Storage

16 Camadas e conceitos Driver Program SparkContext Cluster Manager Standalone, YARN ou MESOS Worker Node Worker Node Worker Node Worker Node Executor Cache Executor Cache Executor Cache Executor Cache Task Task Task Task Task Task Task Task

17 RDD - Resilient Distributed dataset Unidade básica de dado no Spark Abstração de memória distribuída Coleção de registros para leitura Se particionado é executado em vários nós do cluster Não é replicado, é reconstruído em caso de falha

18 RDD sparqsql.txt RDD Seamlessly mix SQL queries with Spark programs. Spark SQL lets you query structured data as a distributed dataset (RDD) in Spark, with integrated APIs in Python, Scala and Java. This tight integration makes it easy to run SQL queries alongside complex analytic algorithms. Seamlessly mix SQL queries with Spark programs. Spark SQL lets you query structured data as a distributed dataset (RDD) in Spark, with integrated APIs in Python, Scala and Java. This tight integration makes it easy to run SQL queries alongside complex analytic algorithms.

19 RDD Criado através de leitura de um dataset externo Criado através coleções de objetos (List ou Set)

20 Operações RDD Transformações Ações Retorna um novo RDD filter map Retornam valores first count mappedrdd inputrdd map log => data, bytes trafegados [23/Mar/2014:15:08: ], filter log => codret == 304 RDD Seamlessly mix SQL queries with Spark programs. Spark SQL lets you query structured data as a distributed dataset (RDD) in Spark, with integrated APIs in Python, Scala and Java. This tight integration makes it easy to run SQL queries alongside complex analytic algorithms. count filteredrdd # de palavras

21 Operações RDD Transformações map(func), filter(func), flatmap(func), mappartitions(func), mappartitionswithindex(func), sample(withreplacement, fraction, seed), union(otherdataset), intersection(otherdataset), distinct([numtasks])), groupbykey([numtasks]), reducebykey(func, [numtasks]), aggregatebykey(zerovalue), (seqop, combop, [numtasks]), join(otherdataset, [numtasks]), sortbykey([ascending], [numtasks]), cogroup(otherdataset, [numtasks]), cartesian(otherdataset), pipe(command, [envvars]), coalesce(numpartitions), repartition(numpartitions), repartitionandsortwithinpartitions(partitioner)

22 Operações RDD Ações reduce(func), collect(), count(), first(), take(n), takesample(withreplacement, num, [seed]), takeordered(n, [ordering]), saveastextfile(path), *saveassequencefile(path), *saveasobjectfile(path), countbykey(), foreach(func) * (Java e Scala)

23 Spark e java 7 SectionName

24 Lambda Expressions Funções anônimas ou closures Características de programação funcional () -> Programação concorrente e event-driven (ou reactive") Código mais conciso, claro e elegante SectionName

25 Lambda Expressions Uma expressão Lambda é composta de três partes Argument List Arrow Token Body (int x, int y) -> x+y () -> (x, y) -> x+y x -> x*10 (name) -> { System.out.println( Olá + name); } Processamento de coleções SectionName

26 Spark e Lambda Expressions Java 7 Java 8 e Lambda Expression SectionName

27 Spark e Lambda Expressions SectionName

28 Spark e Lambda Expressions scala> val arqtxt = sc.textfile( teste.txt") Shell scala> val palavras = arqtxt.flatmap(line => line.split( \\W")) scala> val contapalavras = palavras.countbyvalue() JaVA

29 SPARK - Alta Performance Processamento em memória e cache de dados Carga e processamento respeitando localidade Micro batch architecture e Stream Directed Acyclic Graph (DAG) engine

30 RDD - Lineage graph textfile() Clientes filter _.(isativo) Clientes Ativos Clientes JOIN Cliente Produto textfile() Produtos JOIN Cliente Consumo Campanha Adequação save() Produtos FILTER Consumo > Franquia Consumo Mensal textfile() Consumo Mensal fillter Consumo 2015 Jan_MAIO REDUCE BY KEY Média Consumo

31 DAG Clientes Clientes Ativos Cliente Produto filter _.(isativo) Produtos Cliente Consumo CampanhA Adequação estágio 1 JOIN save() Consumo Mensal filter Consumo 2015 Jan_MAIO Média Consumo FILTER Consumo > Franquia JOIN estágio 2 REDUCE BY KEY estágio 3

32 \ Mineração de dados Atividade com o objetivo de obter conhecimento Algoritmos de Machine Learning Reconhecimento de Padrões Estatística SectionName

33 Machine Learning Definição Formal - Tom Mitchell (1998) Dizemos que um programa de computador está aprendendo quando: de uma experiência E, a respeito de uma tarefa T e com uma medida de desempenho P, se o seu desempenho em T, medido em P, melhora com a experiência E. T (Tarefa) - fazer gol T E (experiência) - chutar a bola P (Desempenho) - número de gols marcados P E SectionName

34 Machine Learning 29/Maio/2015 SectionName

35 Machine Learning 29/Maio/2015 SectionName

36 Machine Learning Não é ficção Vários serviços/produtos são baseados nesta tecnologia. Facebook: Detecção e Reconhecimento de Faces É capaz de reconhecer até o rosto de um japonês SectionName Amazon: Recomendação de Livros (Collaborative Filter)

37 Machine Learning Supervisionado Não Supervisionado SectionName Fonte: https://adcalves.files.wordpress.com/2014/06/ml-flowchart.jpg

38 Machine Learning Necessidade de alta performance Dado é acessado iterativamente Spark mais indicado Dados em memória Baixa latência

39 Sistema de recomendação Sistema de Recomendação Ideal Desafios da Vida Real Grande Volume de Dados Único jeito de adivinhar o gosto do cliente X Escalabilidade Diversidade de Clientes e gostos Ataques Shilling attacks

40 Sistema de recomendação Filtro Colaborativo

41 Sistema de recomendação Filtro Colaborativo Usuários similares Recomendação Tipos de Sistema de Recomendação Executado para todos os usuários e a cada nova informação Baseado no Usuário Baseado em Itens

42 Machine learning Por que Spark é indicado para Machine Learning? Logistic regression in Hadoop and Spark SectionName

43 Machine Learning HDFS Read HDFS Write HDFS Read HDFS Write 1 a Iteração 2 a Iteração Input HDFS Read 1 a Iteração 2 a Iteração Input Spark mais performático a cada iteração

44 Machine learning

45 MLLIB Algoritmos e estruturas para Machine Learning Classificação, Collaborative Filtering, Clustering SectionName

46 mllib E MAHOUT SectionName

47 MLLIB Conjunto ainda incompleto de algoritmos SectionName

48 mllib Algoritmos em implementação Redes Neurais SectionName

49 Spark StreAming Receivers batches of input data Micro-batch architecture Streaming em pequenos batches de dados Processar com funções como map, reduce, join

50 Spark StreAm DStream ou discretized stream DStream data from time 0 to 1 data from time 1 to 2 data from time 2 to 3 data from time 3 to 4 Abstração de stream contínuo de dados tempo Sequência de RDDs Intervalo de criação configurável a partir de 500ms log lines DStream fraudes DStream data from time 0 to 1 data from time 0 to 1 data from time 1 to 2 data from time 1 to 2 data from time 2 to 3 data from time 2 to 3 data from time 3 to 4 data from time 3 to 4 Filter detectar fraudes

51 Spark StreAm

52 Spark SQL Módulo para trabalhar com dados estruturados e não estruturados SQL, JDBC e ODBC JSON, Hive, Bancos relacionais via JDBC, Parquet, HDFS, S3 Avro, CSV, ElasticSearch e Cassandra SQLContext e HiveContext DataFrame

53 Spark SQL - DataFrame Coleção de dados distribuídos e organizados em colunas com nomes DataFrame é análogo a uma tabela de um banco relacional. Pode ser construído a partir de arquivos, tabelas e RDDs DataFrame { RDD Cliente Cliente Schema Nome Endereço Telefone Nome Endereço Telefone Cliente Nome Endereço Telefone

54 Spark SQL JDBC

55 Spark SQL

56 Spark e NoSQL Acesso a dados carregados no HDFS Spark SQL Streaming MLib Spark Core GraphX Java Scala Python YARN HDFS NoSQL Conectores Fonte:

57 Spark e NoSQL

58 Arquitetura integrada Fonte de Dados Dados agregados baixa latência Aplicações Online Data Mining e Aplicações Batch Raw Data e Dados Históricos SectionName

59 Arquitetura integrada Dados agregados baixa latência ArduinO Aplicações Online Raspberry Pi Data Mining e Aplicações Batch Intel Galileo RFID SectionName Raw Data e Dados Históricos

60 Conclusão Spark para algoritmos iterativos Usado em conjunto com Hadoop e HDFS Batch em Hadoop Spark Stream, Spark SQL e Spark Graphx SectionName Lambda para código mais conciso

61 Perguntas??

62 Obrigado Claudio Fabio

Tecnologias para Gerenciamento de Dados na Era do Big Data

Tecnologias para Gerenciamento de Dados na Era do Big Data Tecnologias para Gerenciamento de Dados na Era do Big Data Victor Teixeira de Almeida 1,2 Vitor Alcântara Batista 1 1 PETROBRAS 2 Universidade Federal Fluminense (UFF) Importante A Petrobras não é responsável

Leia mais

http://blogging.avnet.com/weblog/cioinsights/tag/big-data/ Storm Processamento e análise real time para Big Data 7/24/12 Fabio Velloso

http://blogging.avnet.com/weblog/cioinsights/tag/big-data/ Storm Processamento e análise real time para Big Data 7/24/12 Fabio Velloso http://blogging.avnet.com/weblog/cioinsights/tag/big-data/ Storm Processamento e análise real time para Big Data Fabio Velloso Fabio Velloso Bio Bacharel em Ciência da Computação - UFSCar MBA FGV Desenvolvedor

Leia mais

São Paulo. Maio/2015

São Paulo. Maio/2015 São Paulo Maio/2015 Padrões de Arquitetura para Big Data Hélio Silva Sr. Big Data Analytics Consultant Professional Services AWS Summit São Paulo Maio/2015 Henrique Souza Especialista de Cloud e Big Data

Leia mais

HadoopDB. Edson Ie Serviço Federal de Processamento de Dados - SERPRO

HadoopDB. Edson Ie Serviço Federal de Processamento de Dados - SERPRO HadoopDB Edson Ie Serviço Federal de Processamento de Dados - SERPRO Motivação Grandes massas de dados precisam ser processadas em clusters: 1 nó: 100TB@59MB/s = 23 dias Cluster com 1000 nós 33 min!!!

Leia mais

Grandes volumes de dados pertenciam ao domínio das aplicações científicas até há 15 anos atrás.

Grandes volumes de dados pertenciam ao domínio das aplicações científicas até há 15 anos atrás. Grandes volumes de dados pertenciam ao domínio das aplicações científicas até há 15 anos atrás. Com o crescimento exponencial das aplicações Web o volume de dados que é produzido e processado tornou-se

Leia mais

Treinamento em Apache Spark com Scala - Fundamental

Treinamento em Apache Spark com Scala - Fundamental Treinamento em Apache Spark com Scala - Fundamental O treinamento fundamental em Apache Spark prepara profissionais para o mercado de trabalho com Spark e Programação em Scala. Seu conteúdo programático

Leia mais

PERFORMANCE EVALUATION OF A MONGODB AND HADOOP PLATFORM FOR SCIENTIFIC DATA ANALYSIS M.Govindaraju and L. Ramakrishnan

PERFORMANCE EVALUATION OF A MONGODB AND HADOOP PLATFORM FOR SCIENTIFIC DATA ANALYSIS M.Govindaraju and L. Ramakrishnan PERFORMANCE EVALUATION OF A MONGODB AND HADOOP PLATFORM FOR SCIENTIFIC DATA ANALYSIS M.Govindaraju and L. Ramakrishnan Alfredo Fernandes / José Fernandes 6. Avaliação Nesta secção é apresentada as avaliações

Leia mais

Arquiteturas escaláveis utilizando ferramentas Shared Nothing. Victor Canô

Arquiteturas escaláveis utilizando ferramentas Shared Nothing. Victor Canô Arquiteturas escaláveis utilizando ferramentas Shared Nothing Victor Canô Victor Canô - Founder / CTO @ Cazamba - Founder @ Troz.io /victoracano Conteúdo O que esperamos de uma aplicação? Cloud, benefícios

Leia mais

Big Data e Hadoop A nova fronteira para inovação

Big Data e Hadoop A nova fronteira para inovação Big Data e Hadoop A nova fronteira para inovação Fabio Velloso Fabio Velloso Bio Bacharel em Ciência da Computação - UFSCar MBA - FGV Programador Java desde 1996 Fundador do SouJava Gerente de Arquitetura

Leia mais

BIG DATA: UTILIZANDO A INTERNET PARA TOMADA DE DECISÕES

BIG DATA: UTILIZANDO A INTERNET PARA TOMADA DE DECISÕES BIG DATA: UTILIZANDO A INTERNET PARA TOMADA DE DECISÕES Alex Travagin Chatalov¹, Ricardo Ribeiro Rufino ¹ ¹Universidade Paranaense (Unipar) Paranavaí PR Brasil alex_tr1992@hotmail.com ricardo@unipar.br

Leia mais

Arquiteturas Java Pragmá1cas para usar Big Data na Nuvem. Fabiane Bizinella Nardon (@fabianenardon) Fernando Babadopulos (@babadopulos)

Arquiteturas Java Pragmá1cas para usar Big Data na Nuvem. Fabiane Bizinella Nardon (@fabianenardon) Fernando Babadopulos (@babadopulos) Arquiteturas Java Pragmá1cas para usar Big Data na Nuvem Fabiane Bizinella Nardon (@fabianenardon) Fernando Babadopulos (@babadopulos) Nós e Big Data BigDataTailTargetDataScienceMachineLearningHiveHadoopCrunchMongoDBRedisAWS

Leia mais

Uma Breve Introdução. Andréa Bordin

Uma Breve Introdução. Andréa Bordin Uma Breve Introdução Andréa Bordin O que significa? NoSQL é um termo genérico que define bancos de dados não-relacionais. A tecnologia NoSQL foi iniciada por companhias líderes da Internet - incluindo

Leia mais

Engenharia de software 2011A. Trabalho sobre

Engenharia de software 2011A. Trabalho sobre Engenharia de software 2011A Trabalho sobre NOSQL Not only SQL NoSQL Not only SQL GRUPO - 9 Cléverton Heming Jardel Palagi Jonatam Gebing Marcos Wassem NOSQL O Termo NoSQL, foi utilizado pela primeira

Leia mais

BIG DATA INTRODUÇÃO. Humberto Sandmann humberto.sandmann@gmail.com

BIG DATA INTRODUÇÃO. Humberto Sandmann humberto.sandmann@gmail.com BIG DATA INTRODUÇÃO Humberto Sandmann humberto.sandmann@gmail.com Apresentação Humberto Sandmann humberto.sandmann@gmail.com Possui graduação em Ciências da Computação pelo Centro Universitário da Faculdade

Leia mais

MBA Analytics em Big Data

MBA Analytics em Big Data MBA Analytics em Big Data Inscrições Abertas Início das Aulas: 04/06/2015 Dias e horários das aulas: Segunda-Feira 19h00 às 23h00 Semanal Sexta-Feira 19h00 às 23h00 Semanal Carga horária: 600 Horas Duração:

Leia mais

Big Data e Análise de Dados: Tendências e Aplicações em Projetos. Marcus Borba. Apresentação

Big Data e Análise de Dados: Tendências e Aplicações em Projetos. Marcus Borba. Apresentação Big Data e Análise de Dados: Tendências e Aplicações em Projetos Marcus Borba 1 Apresentação Marcus Borba CTO - Spark Strategic Business Solution. 30 anos de experiência em tecnologia da informação.. 14

Leia mais

Uma Avaliação de Desempenho dos Ambientes de Programação Paralela Hadoop e Spark

Uma Avaliação de Desempenho dos Ambientes de Programação Paralela Hadoop e Spark CENTRO FEDERAL DE EDUCAÇÃO TECNOLÓGICA DE MINAS GERAIS Programa de Pós-Graduação em Modelagem Matemática e Computacional Pedro Micael Theosã Lucas Nogueira Pinto Uma Avaliação de Desempenho dos Ambientes

Leia mais

AN IN-DEPTH STUDY OF MAP REDUCE IN CLOUD ENVIRONMENT. Sistemas Distribuídos e Tolerância a Falhas Nuno Garcia m6284, Tiago Carvalho m6294

AN IN-DEPTH STUDY OF MAP REDUCE IN CLOUD ENVIRONMENT. Sistemas Distribuídos e Tolerância a Falhas Nuno Garcia m6284, Tiago Carvalho m6294 AN IN-DEPTH STUDY OF MAP REDUCE IN CLOUD ENVIRONMENT Sistemas Distribuídos e Tolerância a Falhas Nuno Garcia m6284, Tiago Carvalho m6294 Sobre o paper Novia Nurain, Hasan Sarwar, Md.Pervez Sajjad United

Leia mais

Introdução aos Bancos de Dados Não-Relacionais. Mauricio De Diana (mestrando) Marco Aurélio Gerosa (orientador)

Introdução aos Bancos de Dados Não-Relacionais. Mauricio De Diana (mestrando) Marco Aurélio Gerosa (orientador) Introdução aos Bancos de Dados Não-Relacionais Mauricio De Diana (mestrando) Marco Aurélio Gerosa (orientador) Conteúdo Histórico de BDs não-relacionais na Web 4 Categorias de bancos NoSQL Exemplos de

Leia mais

Copyright 2012 EMC Corporation. Todos os direitos reservados.

Copyright 2012 EMC Corporation. Todos os direitos reservados. 1 A INFRAESTRUTURA DO FUTURO, HOJE Integrando Greenplum DCA e SAS para permitir estudos analíticos em big data Rafael Aielo Technology Consultant 2 O que é Greenplum? Adquirida pela EMC em julho de 2010

Leia mais

Neo4j Aprendendo conceitos por trás do Neo4j. Sem SQL? Apresentação. Por que grafos, por que agora? Por que grafos, por que agora?

Neo4j Aprendendo conceitos por trás do Neo4j. Sem SQL? Apresentação. Por que grafos, por que agora? Por que grafos, por que agora? Neo4j Aprendendo conceitos por trás do Neo4j Universidade Federal do Paraná - UFPR Programa de Pós-Graduação em Informática - PPGInf Oficina de Banco de Dados - CI829 Profa: Dra. Carmem Hara Aluno: Walmir

Leia mais

Prof. Daniela Barreiro Claro

Prof. Daniela Barreiro Claro Prof. Daniela Barreiro Claro Volume de dados muito grande Principais problemas em relação aos SGBD Relacionais é conciliar o tipo de modelo com a demanda da escalabilidade. Exemplo -Facebook Um crescimento

Leia mais

Universidade Federal de Goiás Ciências da Computação Sistemas Operacionais 2

Universidade Federal de Goiás Ciências da Computação Sistemas Operacionais 2 Universidade Federal de Goiás Ciências da Computação Sistemas Operacionais 2 MongoDB Diego Fraga - 083746 Gabriel Henrique - 083771 Lauro Henrique - 074259 O que é MongoDB? - MongoDB é uma ferramenta de

Leia mais

MAC5855 - NoSQL. Mauricio De Diana mdediana@ime.usp.br @mdediana

MAC5855 - NoSQL. Mauricio De Diana mdediana@ime.usp.br @mdediana MAC5855 - NoSQL Mauricio De Diana mdediana@ime.usp.br @mdediana Web 2.0 Data is the Next Intel Inside Inteligência Coletiva Grande volume de dados Escala global (Internet scale services) Web 2.0 Alto grau

Leia mais

Big Data Definição, Desafios e Análise de dados Seminário da disciplina IN940 - Banco de Dados

Big Data Definição, Desafios e Análise de dados Seminário da disciplina IN940 - Banco de Dados Big Data Definição, Desafios e Análise de dados Seminário da disciplina IN940 - Banco de Dados Aluno: Victor Santos Professor: Ana Carolina Fernando Fonseca AGENDA 1 - O que é Big Data? 2 - Impactos do

Leia mais

Benjamin Bengfort Jenny Kim

Benjamin Bengfort Jenny Kim Benjamin Bengfort Jenny Kim Novatec Authorized Portuguese translation of the English edition of Data Analytics with Hadoop, ISBN 9781491913703 2016 Benjamin Bengfort, Jenny Kim. This translation is published

Leia mais

Agenda. Intro Migrando de relatório para uma solução de BI Under the Hood Operação e Lições aprendidas

Agenda. Intro Migrando de relatório para uma solução de BI Under the Hood Operação e Lições aprendidas Agenda Intro Migrando de relatório para uma solução de BI Under the Hood Operação e Lições aprendidas FALAR da SAMBA FALAR da SAMBA HACKWEEKS Reporting & Analytics No Início - Report Fornecer informações

Leia mais

Sistemas Distribuídos

Sistemas Distribuídos Cassandra - Particionamento de Dados Sistemas Distribuídos Douglas Macedo Hugo Lourenço Sumário Introdução Conceito Anel Multíplos Data center Fatores envolvidos Arquitetura do Sistema Módulo de Particionamento

Leia mais

MC714A - 2º Semestre 2015. Nomes: Roberto Hayasida Mariane Previde Cibelle Begalli

MC714A - 2º Semestre 2015. Nomes: Roberto Hayasida Mariane Previde Cibelle Begalli MC714A - 2º Semestre 2015 Nomes: Roberto Hayasida Mariane Previde Cibelle Begalli RAs:103984 121192 135334 Facebook Introdução Os 4 grandes tipos de sistemas de armazenamento utilizados no Facebook: OLTP

Leia mais

Laboratório do Framework Hadoop em Plataformas de Cloud e. Cluster Computing

Laboratório do Framework Hadoop em Plataformas de Cloud e. Cluster Computing Laboratório do Framework Hadoop em Plataformas de Cloud e Framework Hadoop em Plataformas de Cluster Computing Cloud Computing Eng. André Luiz Tibola. Mst. Raffael Bottoli Schemmer Prof. Dr. Cláudio Fernando

Leia mais

Microserviços: flexibilidade e agilidade a que preço?

Microserviços: flexibilidade e agilidade a que preço? Microserviços: flexibilidade e agilidade a que preço? Summa Technologies www.summa.com.br Einar Saukas Fabio Velloso @fabiovelloso 2005, Summa Technologies, Inc. 1 Einar Saukas Principal Consultant - Summa

Leia mais

Tempo de Resposta em Sub-Segundos com o novo MicroStrategy 10 In-Memory Analytics. Anderson Santos, Sales Engineer Brazil

Tempo de Resposta em Sub-Segundos com o novo MicroStrategy 10 In-Memory Analytics. Anderson Santos, Sales Engineer Brazil Tempo de Resposta em Sub-Segundos com o novo MicroStrategy 10 In-Memory Analytics Anderson Santos, Sales Engineer Brazil Alta Performance não é mais Desejável em uma Aplicação Analítica Expectativa dos

Leia mais

Boas Práticas em Sistemas Web muito além do HTML...

Boas Práticas em Sistemas Web muito além do HTML... Boas Práticas em Sistemas Web muito além do HTML... Adriano C. Machado Pereira (adrianoc@dcc.ufmg.br) De que Web estamos falando? De que Web estamos falando? A Web foi concebida para ser uma biblioteca

Leia mais

The Eucalyptus Open- source Cloud-computing System. Janaina Siqueira Lara Wilpert Marcelo Scheidt Renata Silva

The Eucalyptus Open- source Cloud-computing System. Janaina Siqueira Lara Wilpert Marcelo Scheidt Renata Silva The Eucalyptus Open- source Cloud-computing System Janaina Siqueira Lara Wilpert Marcelo Scheidt Renata Silva Sumário Introdução Trabalhos Correlatos Eucalyptus Design Conclusões Visão Geral Introdução:

Leia mais

Interoperabilidade entre Bancos de Dados Relacionais e Bancos de Dados NoSQL

Interoperabilidade entre Bancos de Dados Relacionais e Bancos de Dados NoSQL Minicurso: Interoperabilidade entre Bancos de Dados Relacionais e Bancos de Dados NoSQL Geomar A. Schreiner Ronaldo S. Mello Departamento de Informática e Estatística (INE) Programa de Pós-Graduação em

Leia mais

A Cloud Computing Architecture for Large Scale Video Data Processing

A Cloud Computing Architecture for Large Scale Video Data Processing Marcello de Lima Azambuja A Cloud Computing Architecture for Large Scale Video Data Processing Dissertação de Mestrado Dissertation presented to the Postgraduate Program in Informatics of the Departamento

Leia mais

Programação de Computadores III

Programação de Computadores III Programação de Computadores III Introdução a Linguagens de Programação Professor Leandro Augusto Frata Fernandes laffernandes@ic.uff.br Material disponível em http://www.ic.uff.br/~laffernandes/teaching/2013.1/tcc-00.157

Leia mais

BIG DATA Armazenamento e Gerenciamento de grandes volumes de dados

BIG DATA Armazenamento e Gerenciamento de grandes volumes de dados BIG DATA Armazenamento e Gerenciamento de grandes volumes de dados Carlos Marques Business Development Manager, Data Connectivity and Integration Latin America & Caribbean Market (CALA) O que veremos hoje?

Leia mais

Big Data 14/12/2012 PÓS-GRADUAÇÃO LATO SENSU. Curso: Banco de Dados. = volume + variedade + velocidade de dados

Big Data 14/12/2012 PÓS-GRADUAÇÃO LATO SENSU. Curso: Banco de Dados. = volume + variedade + velocidade de dados PÓS-GRADUAÇÃO LATO SENSU Big Data Curso: Banco de Dados Disciplina: Data Warehouse e Business Intelligence Professor: Fernando Zaidan Unidade 7 Big Data 2012 Big Data - Contexto Globalização Modelo just

Leia mais

E N AT O M O L I N A T O T H

E N AT O M O L I N A T O T H no:sql Not only SQL Renato Molina Toth ww.renatomolina.in R E N AT O M O L I N A T O T H O que é? O que é? Não é uma nova tecnologia, é uma nova abordagem Propõe um modelo alternativo de banco de dados

Leia mais

Introdução à Ciência da Computação

Introdução à Ciência da Computação Faculdade de Ciências e Tecnologia Departamento de Matemática e Computação Bacharelado em Ciência da Computação Introdução à Ciência da Computação Aula 05 Rogério Eduardo Garcia (rogerio@fct.unesp.br)

Leia mais

A Nova Interface do Data Discovery no MicroStrategy 10. Anderson Santos, Sales Engineer Brazil 11/08/2015

A Nova Interface do Data Discovery no MicroStrategy 10. Anderson Santos, Sales Engineer Brazil 11/08/2015 A Nova Interface do Data Discovery no MicroStrategy 10 Anderson Santos, Sales Engineer Brazil 11/08/2015 Empresas participantes do MicroStrategy 10 Beta Test Pela primeira vez na história, MicroStrategy

Leia mais

Noções de. Microsoft SQL Server. Microsoft SQL Server

Noções de. Microsoft SQL Server. Microsoft SQL Server Noções de 1 Considerações Iniciais Basicamente existem dois tipos de usuários do SQL Server: Implementadores Administradores 2 1 Implementadores Utilizam o SQL Server para criar e alterar base de dados

Leia mais

? O SQL SERVER é um sistema de gerenciamento de banco de dados relacional que foi desenvolvido inicialmente pela Microsoft em parceria com a Sybase.

? O SQL SERVER é um sistema de gerenciamento de banco de dados relacional que foi desenvolvido inicialmente pela Microsoft em parceria com a Sybase. ? O SQL SERVER é um sistema de gerenciamento de banco de dados relacional que foi desenvolvido inicialmente pela Microsoft em parceria com a Sybase.? Desde de 1994, a Microsoft lança versões do SQL SERVER

Leia mais

Desmis&ficando Tecnologias de Big Data. Victor Teixeira de Almeida Petrobras

Desmis&ficando Tecnologias de Big Data. Victor Teixeira de Almeida Petrobras Desmis&ficando Tecnologias de Big Data Victor Teixeira de Almeida Petrobras Importante A Petrobras não é responsável por qualquer informação con9da nesta apresentação. Todas as opiniões aqui emi9das são

Leia mais

Parte II Introdução a Linguagens de Programação

Parte II Introdução a Linguagens de Programação Programação de Computadores III Aula 1 Professor Leandro Augusto Frata Fernandes laffernandes@ic.uff.br Material disponível em http://www.ic.uff.br/~laffernandes/teaching/2011.1/tcc-03.063 Roteiro da Aula

Leia mais

Estratégia para dentificação dos fatores de maior impacto de aplicações Mapreduce

Estratégia para dentificação dos fatores de maior impacto de aplicações Mapreduce Estratégia para dentificação dos fatores de maior impacto de aplicações Mapreduce Fabiano da Guia Rocha Instituto Federal de Educação, Ciência e Tecnologia de Mato Grosso - Campus Cáceres Av. dos Ramires,

Leia mais

NoSQL: onde, como e por quê? Rodrigo Hjort rodrigo@hjort.co

NoSQL: onde, como e por quê? Rodrigo Hjort rodrigo@hjort.co NoSQL: onde, como e por quê? Rodrigo Hjort rodrigo@hjort.co Quem aqui usa banco de dados? Por que precisamos de SQL? Onde usamos SQL (i.e. ACID)? MAS... Universo digital em expansão Fonte: IDC White Paper,

Leia mais

Prof. Daniela Barreiro Claro

Prof. Daniela Barreiro Claro Prof. Daniela Barreiro Claro Volume de dados muito grande Principais problemas em relacao aos SGBD Relacionais é conciliar o tipo de modelo com a demanda da escalabilidade. Exemplo -Facebook Um crescimento

Leia mais

Hadoop - HDFS. Universidade Federal de Goiás Ciência da Computação

Hadoop - HDFS. Universidade Federal de Goiás Ciência da Computação Hadoop - HDFS Universidade Federal de Goiás Ciência da Computação O que é Hadoop? Um framework para lidar com aplicações distribuídas que fazem uso massivo de dados Originalmente construído para a distribuição

Leia mais

Apresentação do Artigo

Apresentação do Artigo Apresentação do Artigo Web Search for a Planet: The Google Cluster Architecture Publicado em IEEE Micro Março 2003, pg.22-28 Luiz A.Barroso, Jeffrey Dean, Urs Hölze Frank Juergen Knaesel fknaesel@inf.ufsc.br

Leia mais

TRINITY Project Microsoft Research Asia

TRINITY Project Microsoft Research Asia TRINITY Project Microsoft Research Asia Universidade Federal do Paraná Curitiba, 17 de setembro de 2013 Desafios da era Big Data BIG DATA e seus 3 V s: Variedade: Dados complexos e semanticamente ricos

Leia mais

NoSQL como suporte à análise de dados nãonormalizados. volume

NoSQL como suporte à análise de dados nãonormalizados. volume NoSQL como suporte à análise de dados nãonormalizados e de grande volume Joel Alexandre Orientador: Professor Luís Cavique Motivação Grande quantidade de registos Tudo é registado Internet of things tudo

Leia mais

Migrando seu site para o Azure utilizando

Migrando seu site para o Azure utilizando Migrando seu site para o Azure utilizando Plataforma como serviço. DEV210 Migrando seu site para o Azure utilizando Plataforma como serviço. Quem é o palestrante? Vinícius Souza Evangelista Técnico @vbs_br

Leia mais

Novidades Oracle 11g. Rio Grande Energia - RGE

Novidades Oracle 11g. Rio Grande Energia - RGE Novidades Oracle 11g Daniel Güths Rio Grande Energia - RGE 1 Agenda Oracle Database 11g new features SQL e PL/SQL new features Performance e gerenciamento de recursos Gerenciamento de mudanças Gerenciamento

Leia mais

NoSQL. Arthur Azevedo Rafael Benedito

NoSQL. Arthur Azevedo Rafael Benedito NoSQL Arthur Azevedo Rafael Benedito Aviso! O que você vai ver/aprender nessa apresentação: Conceitos de banco de dados NoSQL; Taxonomia de banco de dados NoSQL; Conceitos de Banco de Dados distribuídos;

Leia mais

Introdução à Computação na Nuvem Markus Endler

Introdução à Computação na Nuvem Markus Endler http://picasaweb.google.com/markus.endler/favorites?feat=directlink directlink Introdução à Computação na Nuvem Markus Endler Agenda História e Contexto Definições i e Tipos Exemplos de Cloud computing

Leia mais

Megastore: Solução para as crescentes exigências dos serviços na nuvem. Katharina C. Garcia 317144

Megastore: Solução para as crescentes exigências dos serviços na nuvem. Katharina C. Garcia 317144 Megastore: Solução para as crescentes exigências dos serviços na nuvem Katharina C. Garcia 317144 Agenda Problema e Solução Replicação e Paxos Arquitetura Particionamento Modelo de dados Algoritmos Tratamentos

Leia mais

Geo Big Data - criar mapas incríveis com milhões de pontos pode ser simples

Geo Big Data - criar mapas incríveis com milhões de pontos pode ser simples 21/10/2014 gogeo High Performance Maps Platform www.gogeo.io Vagner Sacramento Quem somos? Head Vagner Sacramento - Ph.D in Computer Science - Experienced in Distributed Algorithms - Experienced in Distributed

Leia mais

Uma Abordagem de Classificação não Supervisionada de Carga de Trabalho MapReduce Utilizando Análise de Log

Uma Abordagem de Classificação não Supervisionada de Carga de Trabalho MapReduce Utilizando Análise de Log paper:37 Uma Abordagem de Classificação não Supervisionada de Carga de Trabalho MapReduce Utilizando Análise de Log Ivan Luiz Picoli¹, Eduardo Cunha de Almeida¹ Nível: Mestrado; Ano de Ingresso: 2013;

Leia mais

IBM Netezza High Capacity Appliance

IBM Netezza High Capacity Appliance IBM Netezza High Capacity Appliance Arquivamento de dados na grandeza peta, Análises e Soluções de Recuperação de Danos Destaque do IBM Netezza High Capacity Appliance: Permite consultar e analisar os

Leia mais

Escalando a 99Taxis. Lados obscuros de uma arquitetura distribuída

Escalando a 99Taxis. Lados obscuros de uma arquitetura distribuída Escalando a 99Taxis Lados obscuros de uma arquitetura distribuída Agenda O que é 99Taxis História da arquitetura Arquitetura distribuida O lado obscuro (problemas, erros) Futuro Q&A Apresentação Renato

Leia mais

Sistemas Operacionais Aula 03: Estruturas dos SOs. Ezequiel R. Zorzal ezorzal@unifesp.br www.ezequielzorzal.com

Sistemas Operacionais Aula 03: Estruturas dos SOs. Ezequiel R. Zorzal ezorzal@unifesp.br www.ezequielzorzal.com Sistemas Operacionais Aula 03: Estruturas dos SOs Ezequiel R. Zorzal ezorzal@unifesp.br www.ezequielzorzal.com OBJETIVOS Descrever os serviços que um sistema operacional oferece aos usuários e outros sistemas

Leia mais

Com as mudanças tecnológicas e acirramento da competitivadade, Advanced Analytics tornou-se uma prioridade para as áreas de negócio

Com as mudanças tecnológicas e acirramento da competitivadade, Advanced Analytics tornou-se uma prioridade para as áreas de negócio Agenda Contexto Advanced Analytics Qlik Portfolio e Advanced Analytics Teradata + Qlik + Keyrus Business Case Qlik Sense Arquitetura Técnica Qlik Sense Integração Qlik Sense & Teradata Aster Com as mudanças

Leia mais

Weather Search System

Weather Search System Weather Search System PROJECTO DE COMPUTAÇÃO EM NUVEM RELATÓRIO Grupo 2 Gonçalo Carito - Nº57701 Bernardo Simões - Nº63503 Guilherme Vale - Nº64029 Índice Weather Search System...1 1. A Solução Implementada...3

Leia mais

Criando uma plataforma mundial para engajamento de usuários para a Copa do Mundo 2014 na nuvem da Google

Criando uma plataforma mundial para engajamento de usuários para a Copa do Mundo 2014 na nuvem da Google Criando uma plataforma mundial para engajamento de usuários para a Copa do Mundo 2014 na nuvem da Google Daniel Viveiros - Head of Technology Twitter: @dviveiros Site: http://www.ciandt.com/u/viveiros

Leia mais

Bases de Dados Relacional/Objeto e NoSQL. Cristina C. Vieira Departamento de Engenharia Eletrónica e Informática

Bases de Dados Relacional/Objeto e NoSQL. Cristina C. Vieira Departamento de Engenharia Eletrónica e Informática Bases de Dados Relacional/Objeto e NoSQL Cristina C. Vieira Departamento de Engenharia Eletrónica e Informática SGBDs Principais tarefas Gerir grandes volumes de dados Suportar acessos eficientes Garantir

Leia mais

Analisando e reduzindo grandes fluxos de dados em tempo real

Analisando e reduzindo grandes fluxos de dados em tempo real Analisando e reduzindo grandes fluxos de dados em tempo real Como um pouco de álgebra pode ajudar Juan Lopes - Intelie QCon SP - 30 de Agosto de 2013 Complex Event Processing (CEP) Para monitoração da

Leia mais

The Eucalyptus Open-source Cloud-computing System

The Eucalyptus Open-source Cloud-computing System The Eucalyptus Open-source Cloud-computing System O sistema Open Source de nuvens computacionais Eucalyptus Daniel Nurmi, Rich Wolski, Chris Grzegorczyk, Graziano Obertelli, Sunil Soman, Lamia Youseff,

Leia mais

Windows Azure. Uma plataforma para Cloud Computing. I Innovation Day Curitiba 2010. Waldemir Cambiucci Arquiteto de Soluções Microsoft Brasil

Windows Azure. Uma plataforma para Cloud Computing. I Innovation Day Curitiba 2010. Waldemir Cambiucci Arquiteto de Soluções Microsoft Brasil I Innovation Day Curitiba 2010 Windows Azure Uma plataforma para Cloud Computing http://blogs.msdn.com/wcamb/ http://twitter.com/wcamb/ Waldemir Cambiucci Arquiteto de Soluções Microsoft Brasil 27 de Março

Leia mais

pesquisa.sapo.pt João Pedro Gonçalves Codebits, 14 de Novembro 2007

pesquisa.sapo.pt João Pedro Gonçalves Codebits, 14 de Novembro 2007 pesquisa.sapo.pt João Pedro Gonçalves Codebits, 14 de Novembro 2007 Agenda A Pesquisa do SAPO Como funciona um motor de Pesquisa APIs de acesso à Pesquisa A Pesquisa do SAPO 40 milhões Pesquisas por mês.

Leia mais

www.en-sof.com.br SOLUÇÕES PARA CONTINUIDADE DO NEGÓCIO

www.en-sof.com.br SOLUÇÕES PARA CONTINUIDADE DO NEGÓCIO SOLUÇÕES PARA CONTINUIDADE DO NEGÓCIO 1 Soluções Oracle Voltadas à Continuidade dos Negócios Luciano Inácio de Melo Oracle Database Administrator Certified Oracle Instructor Bacharel em Ciências da Computação

Leia mais

Copyright 2013 EMC Corporation. Todos os direitos reservados.

Copyright 2013 EMC Corporation. Todos os direitos reservados. Big Data & ANALYTICS TRANSFORMAM OS NEGÓCIOS 1 Big Data = dados estruturados + não estruturados Internet das Coisas Informações não corporativas Informações estruturadas em bancos de dados relacionais

Leia mais

Roteiro. Arquitetura. Tipos de Arquitetura. Questionário. Centralizado Descentralizado Hibrido

Roteiro. Arquitetura. Tipos de Arquitetura. Questionário. Centralizado Descentralizado Hibrido Arquitetura Roteiro Arquitetura Tipos de Arquitetura Centralizado Descentralizado Hibrido Questionário 2 Arquitetura Figura 1: Planta baixa de uma casa 3 Arquitetura Engenharia de Software A arquitetura

Leia mais

MINERAÇÃO DE DADOS APLICADA. Pedro Henrique Bragioni Las Casas pedro.lascasas@dcc.ufmg.br

MINERAÇÃO DE DADOS APLICADA. Pedro Henrique Bragioni Las Casas pedro.lascasas@dcc.ufmg.br MINERAÇÃO DE DADOS APLICADA Pedro Henrique Bragioni Las Casas pedro.lascasas@dcc.ufmg.br Processo Weka uma Ferramenta Livre para Data Mining O que é Weka? Weka é um Software livre do tipo open source para

Leia mais

Ciência dos Dados. bruno.domingues@intel.com. Preparado por Intel Corporation Bruno Domingues Principal Architect. segunda-feira, 5 de agosto de 13

Ciência dos Dados. bruno.domingues@intel.com. Preparado por Intel Corporation Bruno Domingues Principal Architect. segunda-feira, 5 de agosto de 13 Ciência dos Dados Preparado por Intel Corporation Bruno Domingues Principal Architect bruno.domingues@intel.com Homem na Lua Software Data: 1969 64kb, 2kb, RAM, Fortran Tem que funcionar! Apolo XI Velocidade:

Leia mais

Notas da Aula 15 - Fundamentos de Sistemas Operacionais

Notas da Aula 15 - Fundamentos de Sistemas Operacionais Notas da Aula 15 - Fundamentos de Sistemas Operacionais 1. Software de Entrada e Saída: Visão Geral Uma das tarefas do Sistema Operacional é simplificar o acesso aos dispositivos de hardware pelos processos

Leia mais

Python Funções. Introdução à Programação SI1

Python Funções. Introdução à Programação SI1 Python Funções Introdução à Programação SI1 Conteúdo Funções Conceitos Objetivos Modularização Exemplos Exercícios 2 Funções O que são? Qual a função de uma função? 3 Imagine o código 4 Imagine o código

Leia mais

SISTEMA DE GERÊNCIA - DmView

SISTEMA DE GERÊNCIA - DmView Sistema de Gerenciamento DmView O DmView é o Sistema de Gerência desenvolvido para supervisionar e configurar os equipamentos DATACOM, disponibilizando funções para gerência de supervisão, falhas, configuração,

Leia mais

INES 2.0. Proposta de arquitetura e projeto piloto em andamento 27/02/2015

INES 2.0. Proposta de arquitetura e projeto piloto em andamento 27/02/2015 INES 2.0 Proposta de arquitetura e projeto piloto em andamento 27/02/2015 Roteiro Proposta da arquitetura do INES 2.0 Projeto em andamento no INES 1.0 Mundo exterior: Sensores (IoT), Usuários (Crowdsensing),

Leia mais

Fábio Giordani. Técnico em Processamento de Dados Adm. Análise de Sistemas. Outros cursos. Coordenador Projetos e Consultoria em Infraestrutura

Fábio Giordani. Técnico em Processamento de Dados Adm. Análise de Sistemas. Outros cursos. Coordenador Projetos e Consultoria em Infraestrutura Fábio Giordani Técnico em Processamento de Dados Adm. Análise de Sistemas Cobol Developer (Caracter mode ;-) DBA (Oracle 7.1...) Developer (GUI) Java Outros cursos Coordenador Projetos e Consultoria em

Leia mais

Análise comparativa de ambientes e linguagens para computação intensiva de dados na nuvem

Análise comparativa de ambientes e linguagens para computação intensiva de dados na nuvem Análise comparativa de ambientes e linguagens para computação intensiva de dados na nuvem Robespierre Dantas 1, Marcos Barreto 1 1 LaSiD, IM, DCC, UFBA CEP 40.170-110 Salvador BA Brazil {pierre.pita,marcoseb}@gmail.com

Leia mais

2. Modelo Tradicional de Construção de Aplicações de Business Intelligence

2. Modelo Tradicional de Construção de Aplicações de Business Intelligence Modelo de Processo para Criação de BI em Banco de Dados NoSQL Orientado a Colunas Leandro Mendes Ferreira Faculdade de Informática e Administração Paulista Centro de Pós-Graduação MBA em Business Intelligence

Leia mais

O que significa programar e a razão da sua importância. os sistemas informáticos dependem da interacção de inúmeros programas

O que significa programar e a razão da sua importância. os sistemas informáticos dependem da interacção de inúmeros programas Capítulo 1 Introdução Enquadramento da disciplina O que significa programar e a razão da sua importância basilar em qualquer curso de computação os sistemas informáticos dependem da interacção de inúmeros

Leia mais

MARCELO NAGY CICLO DE PALESTRAS EM TI

MARCELO NAGY CICLO DE PALESTRAS EM TI BIG DATA NA PRÁTICA MARCELO NAGY CICLO DE PALESTRAS EM TI Marcelo Nagy Formação Tecnologias Big Data A era das grandes massas de dados já começou. Usuários são agora fontes de dados. Empresas armazenam

Leia mais

Sistemas Operacionais 2014 Introdução. Alexandre Augusto Giron alexandre.a.giron@gmail.com

Sistemas Operacionais 2014 Introdução. Alexandre Augusto Giron alexandre.a.giron@gmail.com Sistemas Operacionais 2014 Introdução Alexandre Augusto Giron alexandre.a.giron@gmail.com Roteiro Sistemas Operacionais Histórico Estrutura de SO Principais Funções do SO Interrupções Chamadas de Sistema

Leia mais

Worldwide Online TechDay. 30 - Outubro

Worldwide Online TechDay. 30 - Outubro 30 - Outubro 1 Como funciona um banco de dados Microsoft SQL Server? Fabricio Catae Premier Field Engineer Microsoft Certified Master Twitter: @fcatae WebSite: http://blogs.msdn.com/fcatae/ 2 Nossos Parceiros

Leia mais

SUMÁRIO CAPÍTULO 1 - INTRODUÇÃO 19 CAPÍTULO 2 - CONCEITOS 25

SUMÁRIO CAPÍTULO 1 - INTRODUÇÃO 19 CAPÍTULO 2 - CONCEITOS 25 SUMÁRIO LISTA DE FIGURAS LISTA DE TABELAS LISTA DE SIGLAS E ABREVIATURAS Pág. CAPÍTULO 1 - INTRODUÇÃO 19 CAPÍTULO 2 - CONCEITOS 25 2.1 A tecnologia de orientação a objetos 25 2.1.1 Projeto de software

Leia mais

Edeyson Andrade Gomes

Edeyson Andrade Gomes Sistemas Operacionais Conceitos de Arquitetura Edeyson Andrade Gomes www.edeyson.com.br Roteiro da Aula Máquinas de Níveis Revisão de Conceitos de Arquitetura 2 Máquina de Níveis Máquina de níveis Computador

Leia mais

EDUARDO PETRINI SILVA CASTRO UMA PROPOSTA DE IMPLEMENTAÇÃO DO ALGORITMO APRIORI DISTRIBUÍDO UTILIZANDO O ARCABOUÇO HADOOP MAPREDUCE

EDUARDO PETRINI SILVA CASTRO UMA PROPOSTA DE IMPLEMENTAÇÃO DO ALGORITMO APRIORI DISTRIBUÍDO UTILIZANDO O ARCABOUÇO HADOOP MAPREDUCE EDUARDO PETRINI SILVA CASTRO UMA PROPOSTA DE IMPLEMENTAÇÃO DO ALGORITMO APRIORI DISTRIBUÍDO UTILIZANDO O ARCABOUÇO HADOOP MAPREDUCE LAVRAS MG 2014 EDUARDO PETRINI SILVA CASTRO UMA PROPOSTA DE IMPLEMENTAÇÃO

Leia mais

Interoperabilidade entre Bancos de Dados Relacionais e Bancos de Dados NoSQL (Parte 2)

Interoperabilidade entre Bancos de Dados Relacionais e Bancos de Dados NoSQL (Parte 2) Minicurso: Interoperabilidade entre Bancos de Dados Relacionais e Bancos de Dados NoSQL (Parte 2) Geomar A. Schreiner - schreiner.geomar@posgrad.ufsc.br Ronaldo S. Mello r.mello@ufsc.br Departamento de

Leia mais

Fazendo Data Science em Tempo Real. Fabiane Bizinella Nardon @fabianenardon

Fazendo Data Science em Tempo Real. Fabiane Bizinella Nardon @fabianenardon Fazendo Data Science em Tempo Real Fabiane Bizinella Nardon @fabianenardon BIG DATA + ESTATÍSTICA + = DATA SCIENCE PROGRAMAÇÃO Data Science na era do batch Dados do Passado Processador Batch (Ex: Hadoop)

Leia mais

Prof. Marcos Ribeiro Quinet de Andrade Universidade Federal Fluminense - UFF Pólo Universitário de Rio das Ostras - PURO

Prof. Marcos Ribeiro Quinet de Andrade Universidade Federal Fluminense - UFF Pólo Universitário de Rio das Ostras - PURO Conceitos básicos e serviços do Sistema Operacional Prof. Marcos Ribeiro Quinet de Andrade Universidade Federal Fluminense - UFF Pólo Universitário de Rio das Ostras - PURO Tipos de serviço do S.O. O S.O.

Leia mais

1 Copyright 2012, Oracle and/or its affiliates. All rights reserved.

1 Copyright 2012, Oracle and/or its affiliates. All rights reserved. 1 Copyright 2012, Oracle and/or its affiliates. All rights reserved. About Eugenio Chleba Product Sales Specialist - PM (11) 5189-1211 (11) 96060-2687 eugenio.chleba@oracle.com Experience Skills Products

Leia mais

Processamento de Big Data com bancos de dados NoSQL para desenvolvedores Java. Fernando Babadopulos (@babadopulos)

Processamento de Big Data com bancos de dados NoSQL para desenvolvedores Java. Fernando Babadopulos (@babadopulos) Processamento de Big Data com bancos de dados NoSQL para desenvolvedores Java Fernando Babadopulos (@babadopulos) Eu tenho um Big Data? Ok, tenho um Big Data, e agora? Mas como funciona o hadoop? fapa

Leia mais

DESENVOLVIMENTO DE UMA FERRAMENTA DE COLETA E ARMAZENAMENTO DE DADOS DISPONÍVEIS EM REDES SOCIAIS

DESENVOLVIMENTO DE UMA FERRAMENTA DE COLETA E ARMAZENAMENTO DE DADOS DISPONÍVEIS EM REDES SOCIAIS DESENVOLVIMENTO DE UMA FERRAMENTA DE COLETA E ARMAZENAMENTO DE DADOS DISPONÍVEIS EM REDES SOCIAIS Bruno Edgar Führ, Evandro Franzen 1 Resumo: O crescimento da internet na última década fez dela a maior

Leia mais

FIT's Software Laboratory conducts research, development and innovation projects in software and information systems, focusing on applying new

FIT's Software Laboratory conducts research, development and innovation projects in software and information systems, focusing on applying new FIT's Software Laboratory conducts research, development and innovation projects in software and information systems, focusing on applying new technologies to add value to its Tópicos Competências em Software

Leia mais

Data Mining: Conceitos e Técnicas

Data Mining: Conceitos e Técnicas Data Mining: Conceitos e Técnicas DM, DW e OLAP Data Warehousing e OLAP para Data Mining O que é data warehouse? De data warehousing para data mining Data Warehousing e OLAP para Data Mining Data Warehouse:

Leia mais