Alta performance no processamento de Big Data com Spark e Lambda Expressions. Claudio Fabio

Tamanho: px
Começar a partir da página:

Download "Alta performance no processamento de Big Data com Spark e Lambda Expressions. Claudio Seidi @claudio_seidi Fabio Velloso @fabiovelloso"

Transcrição

1 Alta performance no processamento de Big Data com Spark e Lambda Expressions Claudio Fabio

2 Cláudio Seidi Bacharel em Ciência da Computação - IME/USP Java desde 1998 Arquiteto de Sistemas desde 2001 Certificado Cloudera Atualmente na área de BI da Telefonica/VIVO

3 Fabio Velloso Consultor da Summa Technologies Co-Fundador e Diretor SouJava Bacharel em Ciência da Computação - UFSCar Professor de Arquitetura Orientada a Serviços - UFSCar Projetos com Java desde 1996 Ü Atualmente trabalhando em projetos de Integração, Big Data e Cloud Computing Y Palestrante em JavaOne, Abaporu, TDC, JustJava, Dia de Java, Café Brasil, Campus Party

4 Agenda Contexto Spark Aplicações API Arquiteturas

5 F Big Data - Um Minuto na Internet em horas 4.19 milhões 67 mil 600 mil 450 de conteúdo de buscas uploads de fotos logins uploads enviados 80 mil produtos vendidos 433 mil tweets downloads 3,4 mil uploads de s SectionName Fonte:

6 big data

7 Hadoop Framework open source em Java para processar um grande volume de dados em cluster de hardware commodity

8 F Hadoop Responsável por distribuir e armazenar dados no cluster Responsável pelo Processamento dos dados

9 Hadoop MAP Reduce MAP Worker all 1 for 1 reduce Worker Java for all Java 1 Dados de Entrada MAP Worker Dados de Intermediários reduce Worker Dados de saída Hadoop for all all 1 MAP Worker Hello World Java for 1 Hadoop 1 Hello 1 Java 1 World 1 reduce Worker Hadoop 1 Hello 1 Java 2 World 1 all 2 for 2 Batch

10 Hadoop / Map Reduce MapReduce possibilitou e difundiu o conceito de Big Data analítics Não é eficiente para analises mais complexas e multi-stage: Iterative Machine Learning & graph processing (não map/reduce) Iterative ad-hoc queries & Iterative algorithms Streaming processing

11 Doug Cutting e Spark It s easy to program, and it uses memory more efficiently, as not all intermediate data goes to disk. Over time, fewer projects will use MapReduce, and more will use Spark But it doesn t make MapReduce obsolete overnight

12 SPARK Fast and general engine for large-scale data processing Criado para Machine Learning Distribuído e Data Mining Abstração de alto nível API s em Java, Python e Scala e shell iterativo Mais rápido que Hadoop até 100 vezes?

13 Camadas Aplicações RDD based tables RDD Streams RDD Based Matrices RDD Based Graphs Spark Engine Spark SQL Spark Streaming (real time processing) MLlib (Machine Learning) GraphX (Graph Processing) Java Python Scala e API s Spark Core Resource Management Storage Spark Core Spark Libs

14 Camadas e HFDS Aplicações RDD based tables RDD Streams RDD Based Matrices RDD Based Graphs Spark Engine Spark SQL Spark Streaming (real time processing) MLlib (Machine Learning) GraphX (Graph Processing) Java Python Scala e API s Spark Core YARN HDFS Spark Core Spark Libs Resource/Cluster Manager Storage

15 Camadas Aplicações RDD based tables RDD Streams RDD Based Matrices RDD Based Graphs Spark Engine Spark SQL Spark Streaming (real time processing) MLlib (Machine Learning) GraphX (Graph Processing) Java Python Scala e API s Spark Core Standalone, YARN, Mesos HDFS, Lustre, EC2/S3 Spark Core Spark Libs Resource/Cluster Manager Storage

16 Camadas e conceitos Driver Program SparkContext Cluster Manager Standalone, YARN ou MESOS Worker Node Worker Node Worker Node Worker Node Executor Cache Executor Cache Executor Cache Executor Cache Task Task Task Task Task Task Task Task

17 RDD - Resilient Distributed dataset Unidade básica de dado no Spark Abstração de memória distribuída Coleção de registros para leitura Se particionado é executado em vários nós do cluster Não é replicado, é reconstruído em caso de falha

18 RDD sparqsql.txt RDD Seamlessly mix SQL queries with Spark programs. Spark SQL lets you query structured data as a distributed dataset (RDD) in Spark, with integrated APIs in Python, Scala and Java. This tight integration makes it easy to run SQL queries alongside complex analytic algorithms. Seamlessly mix SQL queries with Spark programs. Spark SQL lets you query structured data as a distributed dataset (RDD) in Spark, with integrated APIs in Python, Scala and Java. This tight integration makes it easy to run SQL queries alongside complex analytic algorithms.

19 RDD Criado através de leitura de um dataset externo Criado através coleções de objetos (List ou Set)

20 Operações RDD Transformações Ações Retorna um novo RDD filter map Retornam valores first count mappedrdd inputrdd map log => data, bytes trafegados [23/Mar/2014:15:08: ], filter log => codret == 304 RDD Seamlessly mix SQL queries with Spark programs. Spark SQL lets you query structured data as a distributed dataset (RDD) in Spark, with integrated APIs in Python, Scala and Java. This tight integration makes it easy to run SQL queries alongside complex analytic algorithms. count filteredrdd # de palavras

21 Operações RDD Transformações map(func), filter(func), flatmap(func), mappartitions(func), mappartitionswithindex(func), sample(withreplacement, fraction, seed), union(otherdataset), intersection(otherdataset), distinct([numtasks])), groupbykey([numtasks]), reducebykey(func, [numtasks]), aggregatebykey(zerovalue), (seqop, combop, [numtasks]), join(otherdataset, [numtasks]), sortbykey([ascending], [numtasks]), cogroup(otherdataset, [numtasks]), cartesian(otherdataset), pipe(command, [envvars]), coalesce(numpartitions), repartition(numpartitions), repartitionandsortwithinpartitions(partitioner)

22 Operações RDD Ações reduce(func), collect(), count(), first(), take(n), takesample(withreplacement, num, [seed]), takeordered(n, [ordering]), saveastextfile(path), *saveassequencefile(path), *saveasobjectfile(path), countbykey(), foreach(func) * (Java e Scala)

23 Spark e java 7 SectionName

24 Lambda Expressions Funções anônimas ou closures Características de programação funcional () -> Programação concorrente e event-driven (ou reactive") Código mais conciso, claro e elegante SectionName

25 Lambda Expressions Uma expressão Lambda é composta de três partes Argument List Arrow Token Body (int x, int y) -> x+y () -> (x, y) -> x+y x -> x*10 (name) -> { System.out.println( Olá + name); } Processamento de coleções SectionName

26 Spark e Lambda Expressions Java 7 Java 8 e Lambda Expression SectionName

27 Spark e Lambda Expressions SectionName

28 Spark e Lambda Expressions scala> val arqtxt = sc.textfile( teste.txt") Shell scala> val palavras = arqtxt.flatmap(line => line.split( \\W")) scala> val contapalavras = palavras.countbyvalue() JaVA

29 SPARK - Alta Performance Processamento em memória e cache de dados Carga e processamento respeitando localidade Micro batch architecture e Stream Directed Acyclic Graph (DAG) engine

30 RDD - Lineage graph textfile() Clientes filter _.(isativo) Clientes Ativos Clientes JOIN Cliente Produto textfile() Produtos JOIN Cliente Consumo Campanha Adequação save() Produtos FILTER Consumo > Franquia Consumo Mensal textfile() Consumo Mensal fillter Consumo 2015 Jan_MAIO REDUCE BY KEY Média Consumo

31 DAG Clientes Clientes Ativos Cliente Produto filter _.(isativo) Produtos Cliente Consumo CampanhA Adequação estágio 1 JOIN save() Consumo Mensal filter Consumo 2015 Jan_MAIO Média Consumo FILTER Consumo > Franquia JOIN estágio 2 REDUCE BY KEY estágio 3

32 \ Mineração de dados Atividade com o objetivo de obter conhecimento Algoritmos de Machine Learning Reconhecimento de Padrões Estatística SectionName

33 Machine Learning Definição Formal - Tom Mitchell (1998) Dizemos que um programa de computador está aprendendo quando: de uma experiência E, a respeito de uma tarefa T e com uma medida de desempenho P, se o seu desempenho em T, medido em P, melhora com a experiência E. T (Tarefa) - fazer gol T E (experiência) - chutar a bola P (Desempenho) - número de gols marcados P E SectionName

34 Machine Learning 29/Maio/2015 SectionName

35 Machine Learning 29/Maio/2015 SectionName

36 Machine Learning Não é ficção Vários serviços/produtos são baseados nesta tecnologia. Facebook: Detecção e Reconhecimento de Faces É capaz de reconhecer até o rosto de um japonês SectionName Amazon: Recomendação de Livros (Collaborative Filter)

37 Machine Learning Supervisionado Não Supervisionado SectionName Fonte: https://adcalves.files.wordpress.com/2014/06/ml-flowchart.jpg

38 Machine Learning Necessidade de alta performance Dado é acessado iterativamente Spark mais indicado Dados em memória Baixa latência

39 Sistema de recomendação Sistema de Recomendação Ideal Desafios da Vida Real Grande Volume de Dados Único jeito de adivinhar o gosto do cliente X Escalabilidade Diversidade de Clientes e gostos Ataques Shilling attacks

40 Sistema de recomendação Filtro Colaborativo

41 Sistema de recomendação Filtro Colaborativo Usuários similares Recomendação Tipos de Sistema de Recomendação Executado para todos os usuários e a cada nova informação Baseado no Usuário Baseado em Itens

42 Machine learning Por que Spark é indicado para Machine Learning? Logistic regression in Hadoop and Spark SectionName

43 Machine Learning HDFS Read HDFS Write HDFS Read HDFS Write 1 a Iteração 2 a Iteração Input HDFS Read 1 a Iteração 2 a Iteração Input Spark mais performático a cada iteração

44 Machine learning

45 MLLIB Algoritmos e estruturas para Machine Learning Classificação, Collaborative Filtering, Clustering SectionName

46 mllib E MAHOUT SectionName

47 MLLIB Conjunto ainda incompleto de algoritmos SectionName

48 mllib Algoritmos em implementação Redes Neurais SectionName

49 Spark StreAming Receivers batches of input data Micro-batch architecture Streaming em pequenos batches de dados Processar com funções como map, reduce, join

50 Spark StreAm DStream ou discretized stream DStream data from time 0 to 1 data from time 1 to 2 data from time 2 to 3 data from time 3 to 4 Abstração de stream contínuo de dados tempo Sequência de RDDs Intervalo de criação configurável a partir de 500ms log lines DStream fraudes DStream data from time 0 to 1 data from time 0 to 1 data from time 1 to 2 data from time 1 to 2 data from time 2 to 3 data from time 2 to 3 data from time 3 to 4 data from time 3 to 4 Filter detectar fraudes

51 Spark StreAm

52 Spark SQL Módulo para trabalhar com dados estruturados e não estruturados SQL, JDBC e ODBC JSON, Hive, Bancos relacionais via JDBC, Parquet, HDFS, S3 Avro, CSV, ElasticSearch e Cassandra SQLContext e HiveContext DataFrame

53 Spark SQL - DataFrame Coleção de dados distribuídos e organizados em colunas com nomes DataFrame é análogo a uma tabela de um banco relacional. Pode ser construído a partir de arquivos, tabelas e RDDs DataFrame { RDD Cliente Cliente Schema Nome Endereço Telefone Nome Endereço Telefone Cliente Nome Endereço Telefone

54 Spark SQL JDBC

55 Spark SQL

56 Spark e NoSQL Acesso a dados carregados no HDFS Spark SQL Streaming MLib Spark Core GraphX Java Scala Python YARN HDFS NoSQL Conectores Fonte:

57 Spark e NoSQL

58 Arquitetura integrada Fonte de Dados Dados agregados baixa latência Aplicações Online Data Mining e Aplicações Batch Raw Data e Dados Históricos SectionName

59 Arquitetura integrada Dados agregados baixa latência ArduinO Aplicações Online Raspberry Pi Data Mining e Aplicações Batch Intel Galileo RFID SectionName Raw Data e Dados Históricos

60 Conclusão Spark para algoritmos iterativos Usado em conjunto com Hadoop e HDFS Batch em Hadoop Spark Stream, Spark SQL e Spark Graphx SectionName Lambda para código mais conciso

61 Perguntas??

62 Obrigado Claudio Fabio

Tecnologias para Gerenciamento de Dados na Era do Big Data

Tecnologias para Gerenciamento de Dados na Era do Big Data Tecnologias para Gerenciamento de Dados na Era do Big Data Victor Teixeira de Almeida 1,2 Vitor Alcântara Batista 1 1 PETROBRAS 2 Universidade Federal Fluminense (UFF) Importante A Petrobras não é responsável

Leia mais

http://blogging.avnet.com/weblog/cioinsights/tag/big-data/ Storm Processamento e análise real time para Big Data 7/24/12 Fabio Velloso

http://blogging.avnet.com/weblog/cioinsights/tag/big-data/ Storm Processamento e análise real time para Big Data 7/24/12 Fabio Velloso http://blogging.avnet.com/weblog/cioinsights/tag/big-data/ Storm Processamento e análise real time para Big Data Fabio Velloso Fabio Velloso Bio Bacharel em Ciência da Computação - UFSCar MBA FGV Desenvolvedor

Leia mais

São Paulo. Maio/2015

São Paulo. Maio/2015 São Paulo Maio/2015 Padrões de Arquitetura para Big Data Hélio Silva Sr. Big Data Analytics Consultant Professional Services AWS Summit São Paulo Maio/2015 Henrique Souza Especialista de Cloud e Big Data

Leia mais

HadoopDB. Edson Ie Serviço Federal de Processamento de Dados - SERPRO

HadoopDB. Edson Ie Serviço Federal de Processamento de Dados - SERPRO HadoopDB Edson Ie Serviço Federal de Processamento de Dados - SERPRO Motivação Grandes massas de dados precisam ser processadas em clusters: 1 nó: 100TB@59MB/s = 23 dias Cluster com 1000 nós 33 min!!!

Leia mais

Grandes volumes de dados pertenciam ao domínio das aplicações científicas até há 15 anos atrás.

Grandes volumes de dados pertenciam ao domínio das aplicações científicas até há 15 anos atrás. Grandes volumes de dados pertenciam ao domínio das aplicações científicas até há 15 anos atrás. Com o crescimento exponencial das aplicações Web o volume de dados que é produzido e processado tornou-se

Leia mais

Big Data e Hadoop A nova fronteira para inovação

Big Data e Hadoop A nova fronteira para inovação Big Data e Hadoop A nova fronteira para inovação Fabio Velloso Fabio Velloso Bio Bacharel em Ciência da Computação - UFSCar MBA - FGV Programador Java desde 1996 Fundador do SouJava Gerente de Arquitetura

Leia mais

Big Data e Análise de Dados: Tendências e Aplicações em Projetos. Marcus Borba. Apresentação

Big Data e Análise de Dados: Tendências e Aplicações em Projetos. Marcus Borba. Apresentação Big Data e Análise de Dados: Tendências e Aplicações em Projetos Marcus Borba 1 Apresentação Marcus Borba CTO - Spark Strategic Business Solution. 30 anos de experiência em tecnologia da informação.. 14

Leia mais

Treinamento em Apache Spark com Scala - Fundamental

Treinamento em Apache Spark com Scala - Fundamental Treinamento em Apache Spark com Scala - Fundamental O treinamento fundamental em Apache Spark prepara profissionais para o mercado de trabalho com Spark e Programação em Scala. Seu conteúdo programático

Leia mais

Arquiteturas escaláveis utilizando ferramentas Shared Nothing. Victor Canô

Arquiteturas escaláveis utilizando ferramentas Shared Nothing. Victor Canô Arquiteturas escaláveis utilizando ferramentas Shared Nothing Victor Canô Victor Canô - Founder / CTO @ Cazamba - Founder @ Troz.io /victoracano Conteúdo O que esperamos de uma aplicação? Cloud, benefícios

Leia mais

Arquiteturas Java Pragmá1cas para usar Big Data na Nuvem. Fabiane Bizinella Nardon (@fabianenardon) Fernando Babadopulos (@babadopulos)

Arquiteturas Java Pragmá1cas para usar Big Data na Nuvem. Fabiane Bizinella Nardon (@fabianenardon) Fernando Babadopulos (@babadopulos) Arquiteturas Java Pragmá1cas para usar Big Data na Nuvem Fabiane Bizinella Nardon (@fabianenardon) Fernando Babadopulos (@babadopulos) Nós e Big Data BigDataTailTargetDataScienceMachineLearningHiveHadoopCrunchMongoDBRedisAWS

Leia mais

Uma Breve Introdução. Andréa Bordin

Uma Breve Introdução. Andréa Bordin Uma Breve Introdução Andréa Bordin O que significa? NoSQL é um termo genérico que define bancos de dados não-relacionais. A tecnologia NoSQL foi iniciada por companhias líderes da Internet - incluindo

Leia mais

MAC5855 - NoSQL. Mauricio De Diana mdediana@ime.usp.br @mdediana

MAC5855 - NoSQL. Mauricio De Diana mdediana@ime.usp.br @mdediana MAC5855 - NoSQL Mauricio De Diana mdediana@ime.usp.br @mdediana Web 2.0 Data is the Next Intel Inside Inteligência Coletiva Grande volume de dados Escala global (Internet scale services) Web 2.0 Alto grau

Leia mais

Uma Avaliação de Desempenho dos Ambientes de Programação Paralela Hadoop e Spark

Uma Avaliação de Desempenho dos Ambientes de Programação Paralela Hadoop e Spark CENTRO FEDERAL DE EDUCAÇÃO TECNOLÓGICA DE MINAS GERAIS Programa de Pós-Graduação em Modelagem Matemática e Computacional Pedro Micael Theosã Lucas Nogueira Pinto Uma Avaliação de Desempenho dos Ambientes

Leia mais

PERFORMANCE EVALUATION OF A MONGODB AND HADOOP PLATFORM FOR SCIENTIFIC DATA ANALYSIS M.Govindaraju and L. Ramakrishnan

PERFORMANCE EVALUATION OF A MONGODB AND HADOOP PLATFORM FOR SCIENTIFIC DATA ANALYSIS M.Govindaraju and L. Ramakrishnan PERFORMANCE EVALUATION OF A MONGODB AND HADOOP PLATFORM FOR SCIENTIFIC DATA ANALYSIS M.Govindaraju and L. Ramakrishnan Alfredo Fernandes / José Fernandes 6. Avaliação Nesta secção é apresentada as avaliações

Leia mais

BIG DATA: UTILIZANDO A INTERNET PARA TOMADA DE DECISÕES

BIG DATA: UTILIZANDO A INTERNET PARA TOMADA DE DECISÕES BIG DATA: UTILIZANDO A INTERNET PARA TOMADA DE DECISÕES Alex Travagin Chatalov¹, Ricardo Ribeiro Rufino ¹ ¹Universidade Paranaense (Unipar) Paranavaí PR Brasil alex_tr1992@hotmail.com ricardo@unipar.br

Leia mais

Introdução aos Bancos de Dados Não-Relacionais. Mauricio De Diana (mestrando) Marco Aurélio Gerosa (orientador)

Introdução aos Bancos de Dados Não-Relacionais. Mauricio De Diana (mestrando) Marco Aurélio Gerosa (orientador) Introdução aos Bancos de Dados Não-Relacionais Mauricio De Diana (mestrando) Marco Aurélio Gerosa (orientador) Conteúdo Histórico de BDs não-relacionais na Web 4 Categorias de bancos NoSQL Exemplos de

Leia mais

MBA Analytics em Big Data

MBA Analytics em Big Data MBA Analytics em Big Data Inscrições Abertas Início das Aulas: 04/06/2015 Dias e horários das aulas: Segunda-Feira 19h00 às 23h00 Semanal Sexta-Feira 19h00 às 23h00 Semanal Carga horária: 600 Horas Duração:

Leia mais

Big Data Definição, Desafios e Análise de dados Seminário da disciplina IN940 - Banco de Dados

Big Data Definição, Desafios e Análise de dados Seminário da disciplina IN940 - Banco de Dados Big Data Definição, Desafios e Análise de dados Seminário da disciplina IN940 - Banco de Dados Aluno: Victor Santos Professor: Ana Carolina Fernando Fonseca AGENDA 1 - O que é Big Data? 2 - Impactos do

Leia mais

Engenharia de software 2011A. Trabalho sobre

Engenharia de software 2011A. Trabalho sobre Engenharia de software 2011A Trabalho sobre NOSQL Not only SQL NoSQL Not only SQL GRUPO - 9 Cléverton Heming Jardel Palagi Jonatam Gebing Marcos Wassem NOSQL O Termo NoSQL, foi utilizado pela primeira

Leia mais

Universidade Federal de Goiás Ciências da Computação Sistemas Operacionais 2

Universidade Federal de Goiás Ciências da Computação Sistemas Operacionais 2 Universidade Federal de Goiás Ciências da Computação Sistemas Operacionais 2 MongoDB Diego Fraga - 083746 Gabriel Henrique - 083771 Lauro Henrique - 074259 O que é MongoDB? - MongoDB é uma ferramenta de

Leia mais

Microserviços: flexibilidade e agilidade a que preço?

Microserviços: flexibilidade e agilidade a que preço? Microserviços: flexibilidade e agilidade a que preço? Summa Technologies www.summa.com.br Einar Saukas Fabio Velloso @fabiovelloso 2005, Summa Technologies, Inc. 1 Einar Saukas Principal Consultant - Summa

Leia mais

Novidades Oracle 11g. Rio Grande Energia - RGE

Novidades Oracle 11g. Rio Grande Energia - RGE Novidades Oracle 11g Daniel Güths Rio Grande Energia - RGE 1 Agenda Oracle Database 11g new features SQL e PL/SQL new features Performance e gerenciamento de recursos Gerenciamento de mudanças Gerenciamento

Leia mais

AN IN-DEPTH STUDY OF MAP REDUCE IN CLOUD ENVIRONMENT. Sistemas Distribuídos e Tolerância a Falhas Nuno Garcia m6284, Tiago Carvalho m6294

AN IN-DEPTH STUDY OF MAP REDUCE IN CLOUD ENVIRONMENT. Sistemas Distribuídos e Tolerância a Falhas Nuno Garcia m6284, Tiago Carvalho m6294 AN IN-DEPTH STUDY OF MAP REDUCE IN CLOUD ENVIRONMENT Sistemas Distribuídos e Tolerância a Falhas Nuno Garcia m6284, Tiago Carvalho m6294 Sobre o paper Novia Nurain, Hasan Sarwar, Md.Pervez Sajjad United

Leia mais

TRINITY Project Microsoft Research Asia

TRINITY Project Microsoft Research Asia TRINITY Project Microsoft Research Asia Universidade Federal do Paraná Curitiba, 17 de setembro de 2013 Desafios da era Big Data BIG DATA e seus 3 V s: Variedade: Dados complexos e semanticamente ricos

Leia mais

MC714A - 2º Semestre 2015. Nomes: Roberto Hayasida Mariane Previde Cibelle Begalli

MC714A - 2º Semestre 2015. Nomes: Roberto Hayasida Mariane Previde Cibelle Begalli MC714A - 2º Semestre 2015 Nomes: Roberto Hayasida Mariane Previde Cibelle Begalli RAs:103984 121192 135334 Facebook Introdução Os 4 grandes tipos de sistemas de armazenamento utilizados no Facebook: OLTP

Leia mais

BIG DATA INTRODUÇÃO. Humberto Sandmann humberto.sandmann@gmail.com

BIG DATA INTRODUÇÃO. Humberto Sandmann humberto.sandmann@gmail.com BIG DATA INTRODUÇÃO Humberto Sandmann humberto.sandmann@gmail.com Apresentação Humberto Sandmann humberto.sandmann@gmail.com Possui graduação em Ciências da Computação pelo Centro Universitário da Faculdade

Leia mais

A Cloud Computing Architecture for Large Scale Video Data Processing

A Cloud Computing Architecture for Large Scale Video Data Processing Marcello de Lima Azambuja A Cloud Computing Architecture for Large Scale Video Data Processing Dissertação de Mestrado Dissertation presented to the Postgraduate Program in Informatics of the Departamento

Leia mais

NoSQL. Arthur Azevedo Rafael Benedito

NoSQL. Arthur Azevedo Rafael Benedito NoSQL Arthur Azevedo Rafael Benedito Aviso! O que você vai ver/aprender nessa apresentação: Conceitos de banco de dados NoSQL; Taxonomia de banco de dados NoSQL; Conceitos de Banco de Dados distribuídos;

Leia mais

Desmis&ficando Tecnologias de Big Data. Victor Teixeira de Almeida Petrobras

Desmis&ficando Tecnologias de Big Data. Victor Teixeira de Almeida Petrobras Desmis&ficando Tecnologias de Big Data Victor Teixeira de Almeida Petrobras Importante A Petrobras não é responsável por qualquer informação con9da nesta apresentação. Todas as opiniões aqui emi9das são

Leia mais

Prof. Daniela Barreiro Claro

Prof. Daniela Barreiro Claro Prof. Daniela Barreiro Claro Volume de dados muito grande Principais problemas em relação aos SGBD Relacionais é conciliar o tipo de modelo com a demanda da escalabilidade. Exemplo -Facebook Um crescimento

Leia mais

Laboratório do Framework Hadoop em Plataformas de Cloud e. Cluster Computing

Laboratório do Framework Hadoop em Plataformas de Cloud e. Cluster Computing Laboratório do Framework Hadoop em Plataformas de Cloud e Framework Hadoop em Plataformas de Cluster Computing Cloud Computing Eng. André Luiz Tibola. Mst. Raffael Bottoli Schemmer Prof. Dr. Cláudio Fernando

Leia mais

Big Data 14/12/2012 PÓS-GRADUAÇÃO LATO SENSU. Curso: Banco de Dados. = volume + variedade + velocidade de dados

Big Data 14/12/2012 PÓS-GRADUAÇÃO LATO SENSU. Curso: Banco de Dados. = volume + variedade + velocidade de dados PÓS-GRADUAÇÃO LATO SENSU Big Data Curso: Banco de Dados Disciplina: Data Warehouse e Business Intelligence Professor: Fernando Zaidan Unidade 7 Big Data 2012 Big Data - Contexto Globalização Modelo just

Leia mais

NoSQL: onde, como e por quê? Rodrigo Hjort rodrigo@hjort.co

NoSQL: onde, como e por quê? Rodrigo Hjort rodrigo@hjort.co NoSQL: onde, como e por quê? Rodrigo Hjort rodrigo@hjort.co Quem aqui usa banco de dados? Por que precisamos de SQL? Onde usamos SQL (i.e. ACID)? MAS... Universo digital em expansão Fonte: IDC White Paper,

Leia mais

The Eucalyptus Open- source Cloud-computing System. Janaina Siqueira Lara Wilpert Marcelo Scheidt Renata Silva

The Eucalyptus Open- source Cloud-computing System. Janaina Siqueira Lara Wilpert Marcelo Scheidt Renata Silva The Eucalyptus Open- source Cloud-computing System Janaina Siqueira Lara Wilpert Marcelo Scheidt Renata Silva Sumário Introdução Trabalhos Correlatos Eucalyptus Design Conclusões Visão Geral Introdução:

Leia mais

Neo4j Aprendendo conceitos por trás do Neo4j. Sem SQL? Apresentação. Por que grafos, por que agora? Por que grafos, por que agora?

Neo4j Aprendendo conceitos por trás do Neo4j. Sem SQL? Apresentação. Por que grafos, por que agora? Por que grafos, por que agora? Neo4j Aprendendo conceitos por trás do Neo4j Universidade Federal do Paraná - UFPR Programa de Pós-Graduação em Informática - PPGInf Oficina de Banco de Dados - CI829 Profa: Dra. Carmem Hara Aluno: Walmir

Leia mais

Interoperabilidade entre Bancos de Dados Relacionais e Bancos de Dados NoSQL

Interoperabilidade entre Bancos de Dados Relacionais e Bancos de Dados NoSQL Minicurso: Interoperabilidade entre Bancos de Dados Relacionais e Bancos de Dados NoSQL Geomar A. Schreiner Ronaldo S. Mello Departamento de Informática e Estatística (INE) Programa de Pós-Graduação em

Leia mais

Copyright 2012 EMC Corporation. Todos os direitos reservados.

Copyright 2012 EMC Corporation. Todos os direitos reservados. 1 A INFRAESTRUTURA DO FUTURO, HOJE Integrando Greenplum DCA e SAS para permitir estudos analíticos em big data Rafael Aielo Technology Consultant 2 O que é Greenplum? Adquirida pela EMC em julho de 2010

Leia mais

Agenda. Intro Migrando de relatório para uma solução de BI Under the Hood Operação e Lições aprendidas

Agenda. Intro Migrando de relatório para uma solução de BI Under the Hood Operação e Lições aprendidas Agenda Intro Migrando de relatório para uma solução de BI Under the Hood Operação e Lições aprendidas FALAR da SAMBA FALAR da SAMBA HACKWEEKS Reporting & Analytics No Início - Report Fornecer informações

Leia mais

Boas Práticas em Sistemas Web muito além do HTML...

Boas Práticas em Sistemas Web muito além do HTML... Boas Práticas em Sistemas Web muito além do HTML... Adriano C. Machado Pereira (adrianoc@dcc.ufmg.br) De que Web estamos falando? De que Web estamos falando? A Web foi concebida para ser uma biblioteca

Leia mais

Tempo de Resposta em Sub-Segundos com o novo MicroStrategy 10 In-Memory Analytics. Anderson Santos, Sales Engineer Brazil

Tempo de Resposta em Sub-Segundos com o novo MicroStrategy 10 In-Memory Analytics. Anderson Santos, Sales Engineer Brazil Tempo de Resposta em Sub-Segundos com o novo MicroStrategy 10 In-Memory Analytics Anderson Santos, Sales Engineer Brazil Alta Performance não é mais Desejável em uma Aplicação Analítica Expectativa dos

Leia mais

Sistemas Distribuídos

Sistemas Distribuídos Cassandra - Particionamento de Dados Sistemas Distribuídos Douglas Macedo Hugo Lourenço Sumário Introdução Conceito Anel Multíplos Data center Fatores envolvidos Arquitetura do Sistema Módulo de Particionamento

Leia mais

A Nova Interface do Data Discovery no MicroStrategy 10. Anderson Santos, Sales Engineer Brazil 11/08/2015

A Nova Interface do Data Discovery no MicroStrategy 10. Anderson Santos, Sales Engineer Brazil 11/08/2015 A Nova Interface do Data Discovery no MicroStrategy 10 Anderson Santos, Sales Engineer Brazil 11/08/2015 Empresas participantes do MicroStrategy 10 Beta Test Pela primeira vez na história, MicroStrategy

Leia mais

IBM Netezza High Capacity Appliance

IBM Netezza High Capacity Appliance IBM Netezza High Capacity Appliance Arquivamento de dados na grandeza peta, Análises e Soluções de Recuperação de Danos Destaque do IBM Netezza High Capacity Appliance: Permite consultar e analisar os

Leia mais

E N AT O M O L I N A T O T H

E N AT O M O L I N A T O T H no:sql Not only SQL Renato Molina Toth ww.renatomolina.in R E N AT O M O L I N A T O T H O que é? O que é? Não é uma nova tecnologia, é uma nova abordagem Propõe um modelo alternativo de banco de dados

Leia mais

BIG DATA Armazenamento e Gerenciamento de grandes volumes de dados

BIG DATA Armazenamento e Gerenciamento de grandes volumes de dados BIG DATA Armazenamento e Gerenciamento de grandes volumes de dados Carlos Marques Business Development Manager, Data Connectivity and Integration Latin America & Caribbean Market (CALA) O que veremos hoje?

Leia mais

NoSQL como suporte à análise de dados nãonormalizados. volume

NoSQL como suporte à análise de dados nãonormalizados. volume NoSQL como suporte à análise de dados nãonormalizados e de grande volume Joel Alexandre Orientador: Professor Luís Cavique Motivação Grande quantidade de registos Tudo é registado Internet of things tudo

Leia mais

Introdução à Computação na Nuvem Markus Endler

Introdução à Computação na Nuvem Markus Endler http://picasaweb.google.com/markus.endler/favorites?feat=directlink directlink Introdução à Computação na Nuvem Markus Endler Agenda História e Contexto Definições i e Tipos Exemplos de Cloud computing

Leia mais

The Eucalyptus Open-source Cloud-computing System

The Eucalyptus Open-source Cloud-computing System The Eucalyptus Open-source Cloud-computing System O sistema Open Source de nuvens computacionais Eucalyptus Daniel Nurmi, Rich Wolski, Chris Grzegorczyk, Graziano Obertelli, Sunil Soman, Lamia Youseff,

Leia mais

MARCELO NAGY CICLO DE PALESTRAS EM TI

MARCELO NAGY CICLO DE PALESTRAS EM TI BIG DATA NA PRÁTICA MARCELO NAGY CICLO DE PALESTRAS EM TI Marcelo Nagy Formação Tecnologias Big Data A era das grandes massas de dados já começou. Usuários são agora fontes de dados. Empresas armazenam

Leia mais

Estratégia para dentificação dos fatores de maior impacto de aplicações Mapreduce

Estratégia para dentificação dos fatores de maior impacto de aplicações Mapreduce Estratégia para dentificação dos fatores de maior impacto de aplicações Mapreduce Fabiano da Guia Rocha Instituto Federal de Educação, Ciência e Tecnologia de Mato Grosso - Campus Cáceres Av. dos Ramires,

Leia mais

Prof. Daniela Barreiro Claro

Prof. Daniela Barreiro Claro Prof. Daniela Barreiro Claro Volume de dados muito grande Principais problemas em relacao aos SGBD Relacionais é conciliar o tipo de modelo com a demanda da escalabilidade. Exemplo -Facebook Um crescimento

Leia mais

Analisando e reduzindo grandes fluxos de dados em tempo real

Analisando e reduzindo grandes fluxos de dados em tempo real Analisando e reduzindo grandes fluxos de dados em tempo real Como um pouco de álgebra pode ajudar Juan Lopes - Intelie QCon SP - 30 de Agosto de 2013 Complex Event Processing (CEP) Para monitoração da

Leia mais

Geo Big Data - criar mapas incríveis com milhões de pontos pode ser simples

Geo Big Data - criar mapas incríveis com milhões de pontos pode ser simples 21/10/2014 gogeo High Performance Maps Platform www.gogeo.io Vagner Sacramento Quem somos? Head Vagner Sacramento - Ph.D in Computer Science - Experienced in Distributed Algorithms - Experienced in Distributed

Leia mais

Conceito de Big Data

Conceito de Big Data Conceito de Big Data O que são Dados? A palavra Dados é o plural de Datum em Latin que significava Dar", ou seja "algo dado". Dados como um conceito abstrato pode ser explicado como o mais baixo nível

Leia mais

NoSQL - 2014. Edward Ribeiro

NoSQL - 2014. Edward Ribeiro NoSQL - 2014 Edward Ribeiro Edward Pesquisador independente (UnB) Professor Universitário Analista de Sistemas (Senado) Contribuidor de software livre Agenda 1. Motivação 2. Definição 3. Descrição a. Modelos

Leia mais

Windows Azure. Uma plataforma para Cloud Computing. I Innovation Day Curitiba 2010. Waldemir Cambiucci Arquiteto de Soluções Microsoft Brasil

Windows Azure. Uma plataforma para Cloud Computing. I Innovation Day Curitiba 2010. Waldemir Cambiucci Arquiteto de Soluções Microsoft Brasil I Innovation Day Curitiba 2010 Windows Azure Uma plataforma para Cloud Computing http://blogs.msdn.com/wcamb/ http://twitter.com/wcamb/ Waldemir Cambiucci Arquiteto de Soluções Microsoft Brasil 27 de Março

Leia mais

pesquisa.sapo.pt João Pedro Gonçalves Codebits, 14 de Novembro 2007

pesquisa.sapo.pt João Pedro Gonçalves Codebits, 14 de Novembro 2007 pesquisa.sapo.pt João Pedro Gonçalves Codebits, 14 de Novembro 2007 Agenda A Pesquisa do SAPO Como funciona um motor de Pesquisa APIs de acesso à Pesquisa A Pesquisa do SAPO 40 milhões Pesquisas por mês.

Leia mais

Migrando seu site para o Azure utilizando

Migrando seu site para o Azure utilizando Migrando seu site para o Azure utilizando Plataforma como serviço. DEV210 Migrando seu site para o Azure utilizando Plataforma como serviço. Quem é o palestrante? Vinícius Souza Evangelista Técnico @vbs_br

Leia mais

Aula 02: Conceitos Fundamentais

Aula 02: Conceitos Fundamentais Aula 02: Conceitos Fundamentais Profa. Ms. Rosângela da Silva Nunes 1 de 26 Roteiro 1. Por que mineração de dados 2. O que é Mineração de dados 3. Processo 4. Que tipo de dados podem ser minerados 5. Que

Leia mais

Programação de Computadores III

Programação de Computadores III Programação de Computadores III Introdução a Linguagens de Programação Professor Leandro Augusto Frata Fernandes laffernandes@ic.uff.br Material disponível em http://www.ic.uff.br/~laffernandes/teaching/2013.1/tcc-00.157

Leia mais

IT@Intel Como a Intel IT fez a migração bemsucedida para o Cloudera Apache Hadoop*

IT@Intel Como a Intel IT fez a migração bemsucedida para o Cloudera Apache Hadoop* Publicação técnica março de 2015 IT@Intel Como a Intel IT fez a migração bemsucedida para o Cloudera Apache Hadoop* A partir da nossa experiência com o software Apache Hadoop, a Intel IT identificou novas

Leia mais

Ciência dos Dados. bruno.domingues@intel.com. Preparado por Intel Corporation Bruno Domingues Principal Architect. segunda-feira, 5 de agosto de 13

Ciência dos Dados. bruno.domingues@intel.com. Preparado por Intel Corporation Bruno Domingues Principal Architect. segunda-feira, 5 de agosto de 13 Ciência dos Dados Preparado por Intel Corporation Bruno Domingues Principal Architect bruno.domingues@intel.com Homem na Lua Software Data: 1969 64kb, 2kb, RAM, Fortran Tem que funcionar! Apolo XI Velocidade:

Leia mais

Apresentação do Artigo

Apresentação do Artigo Apresentação do Artigo Web Search for a Planet: The Google Cluster Architecture Publicado em IEEE Micro Março 2003, pg.22-28 Luiz A.Barroso, Jeffrey Dean, Urs Hölze Frank Juergen Knaesel fknaesel@inf.ufsc.br

Leia mais

Ferramentas Livres de Armazenamento e Mineração de Dados

Ferramentas Livres de Armazenamento e Mineração de Dados Ferramentas Livres de Armazenamento e Mineração de Dados JasperBI, Pentaho, Weka 09/2009 Eng. Pablo Jorge Madril pmadril@summa.com.br Summa Technologies www.summa.com.br Eng. Pablo Jorge Madril pmadril@summa.com.br

Leia mais

Noções de. Microsoft SQL Server. Microsoft SQL Server

Noções de. Microsoft SQL Server. Microsoft SQL Server Noções de 1 Considerações Iniciais Basicamente existem dois tipos de usuários do SQL Server: Implementadores Administradores 2 1 Implementadores Utilizam o SQL Server para criar e alterar base de dados

Leia mais

Python Funções. Introdução à Programação SI1

Python Funções. Introdução à Programação SI1 Python Funções Introdução à Programação SI1 Conteúdo Funções Conceitos Objetivos Modularização Exemplos Exercícios 2 Funções O que são? Qual a função de uma função? 3 Imagine o código 4 Imagine o código

Leia mais

Conceito de Big Data

Conceito de Big Data Conceito de Big Data O que são Dados? A palavra Dados é o plural de Datum em Latin que significava Dar", ou seja "algo dado". Dados como um conceito abstrato pode ser explicado como o mais baixo nível

Leia mais

Introdução à Ciência da Computação

Introdução à Ciência da Computação Faculdade de Ciências e Tecnologia Departamento de Matemática e Computação Bacharelado em Ciência da Computação Introdução à Ciência da Computação Aula 05 Rogério Eduardo Garcia (rogerio@fct.unesp.br)

Leia mais

Abordagem NoSQL uma real alternativa

Abordagem NoSQL uma real alternativa 1 Abordagem NoSQL uma real alternativa Renato Molina Toth Universidade Federal de São Carlos Campus Sorocaba Sorocaba, São Paulo email: renatomolinat@gmail.com Abstract Nas grandes aplicações web, desktop

Leia mais

Hadoop - HDFS. Universidade Federal de Goiás Ciência da Computação

Hadoop - HDFS. Universidade Federal de Goiás Ciência da Computação Hadoop - HDFS Universidade Federal de Goiás Ciência da Computação O que é Hadoop? Um framework para lidar com aplicações distribuídas que fazem uso massivo de dados Originalmente construído para a distribuição

Leia mais

Fábio Magalhães RA015998

Fábio Magalhães RA015998 Fábio Magalhães RA015998 Exercício-7 (Track: Big Data) Considere os pontos tratados nos caps. 5 a 7. a. Escreva um texto (1 página) sobre pontos em comum e distintos entre Standards e Specifications. Cite

Leia mais

Megastore: Solução para as crescentes exigências dos serviços na nuvem. Katharina C. Garcia 317144

Megastore: Solução para as crescentes exigências dos serviços na nuvem. Katharina C. Garcia 317144 Megastore: Solução para as crescentes exigências dos serviços na nuvem Katharina C. Garcia 317144 Agenda Problema e Solução Replicação e Paxos Arquitetura Particionamento Modelo de dados Algoritmos Tratamentos

Leia mais

Interoperabilidade entre Bancos de Dados Relacionais e Bancos de Dados NoSQL (Parte 2)

Interoperabilidade entre Bancos de Dados Relacionais e Bancos de Dados NoSQL (Parte 2) Minicurso: Interoperabilidade entre Bancos de Dados Relacionais e Bancos de Dados NoSQL (Parte 2) Geomar A. Schreiner - schreiner.geomar@posgrad.ufsc.br Ronaldo S. Mello r.mello@ufsc.br Departamento de

Leia mais

Copyright 2013 EMC Corporation. Todos os direitos reservados.

Copyright 2013 EMC Corporation. Todos os direitos reservados. Big Data & ANALYTICS TRANSFORMAM OS NEGÓCIOS 1 Big Data = dados estruturados + não estruturados Internet das Coisas Informações não corporativas Informações estruturadas em bancos de dados relacionais

Leia mais

Com as mudanças tecnológicas e acirramento da competitivadade, Advanced Analytics tornou-se uma prioridade para as áreas de negócio

Com as mudanças tecnológicas e acirramento da competitivadade, Advanced Analytics tornou-se uma prioridade para as áreas de negócio Agenda Contexto Advanced Analytics Qlik Portfolio e Advanced Analytics Teradata + Qlik + Keyrus Business Case Qlik Sense Arquitetura Técnica Qlik Sense Integração Qlik Sense & Teradata Aster Com as mudanças

Leia mais

2. Modelo Tradicional de Construção de Aplicações de Business Intelligence

2. Modelo Tradicional de Construção de Aplicações de Business Intelligence Modelo de Processo para Criação de BI em Banco de Dados NoSQL Orientado a Colunas Leandro Mendes Ferreira Faculdade de Informática e Administração Paulista Centro de Pós-Graduação MBA em Business Intelligence

Leia mais

Worldwide Online TechDay. 30 - Outubro

Worldwide Online TechDay. 30 - Outubro 30 - Outubro 1 Como funciona um banco de dados Microsoft SQL Server? Fabricio Catae Premier Field Engineer Microsoft Certified Master Twitter: @fcatae WebSite: http://blogs.msdn.com/fcatae/ 2 Nossos Parceiros

Leia mais

Componentes internos de Um SGBD

Componentes internos de Um SGBD Arquitetura SBGD Gerenciamento de Processos joao@uefs.br Departamento de Ciências Exatas Universidade Estadual de Feira de Santana e sistemas paralelos 1 e sistemas paralelos Componentes internos de Um

Leia mais

DESENVOLVIMENTO DE UMA FERRAMENTA DE COLETA E ARMAZENAMENTO DE DADOS DISPONÍVEIS EM REDES SOCIAIS

DESENVOLVIMENTO DE UMA FERRAMENTA DE COLETA E ARMAZENAMENTO DE DADOS DISPONÍVEIS EM REDES SOCIAIS DESENVOLVIMENTO DE UMA FERRAMENTA DE COLETA E ARMAZENAMENTO DE DADOS DISPONÍVEIS EM REDES SOCIAIS Bruno Edgar Führ, Evandro Franzen 1 Resumo: O crescimento da internet na última década fez dela a maior

Leia mais

Análise comparativa de ambientes e linguagens para computação intensiva de dados na nuvem

Análise comparativa de ambientes e linguagens para computação intensiva de dados na nuvem Análise comparativa de ambientes e linguagens para computação intensiva de dados na nuvem Robespierre Dantas 1, Marcos Barreto 1 1 LaSiD, IM, DCC, UFBA CEP 40.170-110 Salvador BA Brazil {pierre.pita,marcoseb}@gmail.com

Leia mais

? O SQL SERVER é um sistema de gerenciamento de banco de dados relacional que foi desenvolvido inicialmente pela Microsoft em parceria com a Sybase.

? O SQL SERVER é um sistema de gerenciamento de banco de dados relacional que foi desenvolvido inicialmente pela Microsoft em parceria com a Sybase. ? O SQL SERVER é um sistema de gerenciamento de banco de dados relacional que foi desenvolvido inicialmente pela Microsoft em parceria com a Sybase.? Desde de 1994, a Microsoft lança versões do SQL SERVER

Leia mais

Uma Abordagem de Classificação não Supervisionada de Carga de Trabalho MapReduce Utilizando Análise de Log

Uma Abordagem de Classificação não Supervisionada de Carga de Trabalho MapReduce Utilizando Análise de Log paper:37 Uma Abordagem de Classificação não Supervisionada de Carga de Trabalho MapReduce Utilizando Análise de Log Ivan Luiz Picoli¹, Eduardo Cunha de Almeida¹ Nível: Mestrado; Ano de Ingresso: 2013;

Leia mais

Análise de Big Data Streams

Análise de Big Data Streams Análise de Big Data Streams Identificando e tratando fluxo Hadoop Marcelo Vaz Netto Nilson Moraes Filho 14/07/14 Propósito do Artigo Original Programming Your Network at Run-time for Big Data Applications

Leia mais

Java Básico. Aula 1 por Thalles Cezar

Java Básico. Aula 1 por Thalles Cezar + Java Básico Aula 1 por Thalles Cezar + Histórico Green Project (1991) Desenvolver plataforma para eletrodomésticos inteligentes Tentaram usar C++ Mas resolveram desenvolver uma linguagem própria Oak

Leia mais

Bancos de Dados em Clouds

Bancos de Dados em Clouds Bancos de Dados em Clouds Bancos de Dados em Clouds Erik Williams Zirke Osta Rafael Brundo Uriarte Agenda Introdução; Fundamentos; Estudo comparativo das Ferramentas; Conclusões e Trabalhos Futuros. Agenda

Leia mais

Apresentação dos autores

Apresentação dos autores Laboratório do Framework Laboratório do Framework Hadoop Hadoop em Plataformas de em Plataformas de Cloud e Cluster Cloud e Cluster Computing Computing Eng. André Luiz Tibola. Eng. André Luís Tibola. Prof.

Leia mais

Processamento de Big Data com bancos de dados NoSQL para desenvolvedores Java. Fernando Babadopulos (@babadopulos)

Processamento de Big Data com bancos de dados NoSQL para desenvolvedores Java. Fernando Babadopulos (@babadopulos) Processamento de Big Data com bancos de dados NoSQL para desenvolvedores Java Fernando Babadopulos (@babadopulos) Eu tenho um Big Data? Ok, tenho um Big Data, e agora? Mas como funciona o hadoop? fapa

Leia mais

Descritivo Técnico. SLAView - Descritivo Técnico Build 5.0 release 4 16/02/2011 Página 1

Descritivo Técnico. SLAView - Descritivo Técnico Build 5.0 release 4 16/02/2011 Página 1 Descritivo Técnico 16/02/2011 Página 1 1. OBJETIVO O SLAview é um sistema de análise de desempenho de redes IP por meio da monitoração de parâmetros de SLA (Service Level Agreement, ou Acordo de Nível

Leia mais

MINERAÇÃO DE DADOS APLICADA. Pedro Henrique Bragioni Las Casas pedro.lascasas@dcc.ufmg.br

MINERAÇÃO DE DADOS APLICADA. Pedro Henrique Bragioni Las Casas pedro.lascasas@dcc.ufmg.br MINERAÇÃO DE DADOS APLICADA Pedro Henrique Bragioni Las Casas pedro.lascasas@dcc.ufmg.br Processo Weka uma Ferramenta Livre para Data Mining O que é Weka? Weka é um Software livre do tipo open source para

Leia mais

SUMÁRIO CAPÍTULO 1 - INTRODUÇÃO 19 CAPÍTULO 2 - CONCEITOS 25

SUMÁRIO CAPÍTULO 1 - INTRODUÇÃO 19 CAPÍTULO 2 - CONCEITOS 25 SUMÁRIO LISTA DE FIGURAS LISTA DE TABELAS LISTA DE SIGLAS E ABREVIATURAS Pág. CAPÍTULO 1 - INTRODUÇÃO 19 CAPÍTULO 2 - CONCEITOS 25 2.1 A tecnologia de orientação a objetos 25 2.1.1 Projeto de software

Leia mais

Oracle Data Integration Integre seus dados na Nuvem SES16413

Oracle Data Integration Integre seus dados na Nuvem SES16413 Oracle Data Integration Integre seus dados na Nuvem SES16413 Murilo Nascimento Especialista em Soluções Cezar Santos CEO, infostrategy Junho 25, 2015 Copyright 2015, Oracle and/or its affiliates. All rights

Leia mais

O item 2.1.4 cita que a solução deve atender o padrão ANSI, porém existem várias versões do SQL ANSI, a qual versão SQL ANSI a RFP se refere?

O item 2.1.4 cita que a solução deve atender o padrão ANSI, porém existem várias versões do SQL ANSI, a qual versão SQL ANSI a RFP se refere? 1 Pergunta: 2.2.1 a) Hadoop ( Common Hadoop Distributed File System-HDFS MapReduce YARN) b) Accumulo c) Flume d) HBase e) Hive f) Kafka g) Sentry ou Ranger h) Oozie i) Pig j) Spark k) Sqoop l) Solr / Solr

Leia mais

Data Mining: Conceitos e Técnicas

Data Mining: Conceitos e Técnicas Data Mining: Conceitos e Técnicas DM, DW e OLAP Data Warehousing e OLAP para Data Mining O que é data warehouse? De data warehousing para data mining Data Warehousing e OLAP para Data Mining Data Warehouse:

Leia mais

NoSQL: Vantagens, Desvantagens e Compromissos. Mauricio De Diana (mestrando) Marco Aurélio Gerosa (orientador)

NoSQL: Vantagens, Desvantagens e Compromissos. Mauricio De Diana (mestrando) Marco Aurélio Gerosa (orientador) NoSQL: Vantagens, Desvantagens e Compromissos Mauricio De Diana (mestrando) Marco Aurélio Gerosa (orientador) Agenda Definição de NoSQL Atributos de qualidade e trocas Modelo de dados Escalabilidade Transações

Leia mais

Weather Search System

Weather Search System Weather Search System PROJECTO DE COMPUTAÇÃO EM NUVEM RELATÓRIO Grupo 2 Gonçalo Carito - Nº57701 Bernardo Simões - Nº63503 Guilherme Vale - Nº64029 Índice Weather Search System...1 1. A Solução Implementada...3

Leia mais

Algoritmo K-Means Paralelo com base no MapReduce para Mineração de dados agrícolas

Algoritmo K-Means Paralelo com base no MapReduce para Mineração de dados agrícolas 312 Algoritmo K-Means Paralelo com base no MapReduce para Mineração de dados agrícolas Lays Helena Lopes Veloso 1, Luciano José Senger 1 1 Departamento de Informática Universidade Estadual de Ponta Grossa

Leia mais

Criando uma plataforma mundial para engajamento de usuários para a Copa do Mundo 2014 na nuvem da Google

Criando uma plataforma mundial para engajamento de usuários para a Copa do Mundo 2014 na nuvem da Google Criando uma plataforma mundial para engajamento de usuários para a Copa do Mundo 2014 na nuvem da Google Daniel Viveiros - Head of Technology Twitter: @dviveiros Site: http://www.ciandt.com/u/viveiros

Leia mais

Sistemas de Gerência de Bancos de Dados. 7 - Outras Arquiteturas para SGBDs 7.2 - SGBDs Cliente-Servidor

Sistemas de Gerência de Bancos de Dados. 7 - Outras Arquiteturas para SGBDs 7.2 - SGBDs Cliente-Servidor Sistemas de Gerência de Bancos de Dados 7 - Outras Arquiteturas para SGBDs 7.2 - SGBDs Cliente-Servidor 1 Alternativas de Arquitetura Consistência de Cache Tópicos 2 Servidor de Objetos: Alternativas de

Leia mais

Utilização da Classe de Banco de Dados NOSQL como Solução para Manipulação de Diversas Estruturas de Dados

Utilização da Classe de Banco de Dados NOSQL como Solução para Manipulação de Diversas Estruturas de Dados Utilização da Classe de Banco de Dados NOSQL como Solução para Manipulação de Diversas Estruturas de Dados Ricardo Cardoso de Almeida 1, Parcilene Fernandes de Brito 1 1 Curso de Sistemas de Informação

Leia mais

GLOBAL SCIENCE AND TECHNOLOGY (ISSN 1984 3801)

GLOBAL SCIENCE AND TECHNOLOGY (ISSN 1984 3801) GLOBAL SCIENCE AND TECHNOLOGY (ISSN 1984 3801) UTILIZAÇÃO DE APLICATIVOS BASE E CALC DO PACOTE BROFFICE.ORG PARA CRIAÇÃO DE SISTEMA DE INFORMAÇÃO DE PEQUENO PORTE Wílson Luiz Vinci 1 Marcelo Gonçalves

Leia mais