Alta performance no processamento de Big Data com Spark e Lambda Expressions. Claudio Fabio

Tamanho: px
Começar a partir da página:

Download "Alta performance no processamento de Big Data com Spark e Lambda Expressions. Claudio Seidi @claudio_seidi Fabio Velloso @fabiovelloso"

Transcrição

1 Alta performance no processamento de Big Data com Spark e Lambda Expressions Claudio Fabio

2 Cláudio Seidi Bacharel em Ciência da Computação - IME/USP Java desde 1998 Arquiteto de Sistemas desde 2001 Certificado Cloudera Atualmente na área de BI da Telefonica/VIVO

3 Fabio Velloso Consultor da Summa Technologies Co-Fundador e Diretor SouJava Bacharel em Ciência da Computação - UFSCar Professor de Arquitetura Orientada a Serviços - UFSCar Projetos com Java desde 1996 Ü Atualmente trabalhando em projetos de Integração, Big Data e Cloud Computing Y Palestrante em JavaOne, Abaporu, TDC, JustJava, Dia de Java, Café Brasil, Campus Party

4 Agenda Contexto Spark Aplicações API Arquiteturas

5 F Big Data - Um Minuto na Internet em horas 4.19 milhões 67 mil 600 mil 450 de conteúdo de buscas uploads de fotos logins uploads enviados 80 mil produtos vendidos 433 mil tweets downloads 3,4 mil uploads de s SectionName Fonte:

6 big data

7 Hadoop Framework open source em Java para processar um grande volume de dados em cluster de hardware commodity

8 F Hadoop Responsável por distribuir e armazenar dados no cluster Responsável pelo Processamento dos dados

9 Hadoop MAP Reduce MAP Worker all 1 for 1 reduce Worker Java for all Java 1 Dados de Entrada MAP Worker Dados de Intermediários reduce Worker Dados de saída Hadoop for all all 1 MAP Worker Hello World Java for 1 Hadoop 1 Hello 1 Java 1 World 1 reduce Worker Hadoop 1 Hello 1 Java 2 World 1 all 2 for 2 Batch

10 Hadoop / Map Reduce MapReduce possibilitou e difundiu o conceito de Big Data analítics Não é eficiente para analises mais complexas e multi-stage: Iterative Machine Learning & graph processing (não map/reduce) Iterative ad-hoc queries & Iterative algorithms Streaming processing

11 Doug Cutting e Spark It s easy to program, and it uses memory more efficiently, as not all intermediate data goes to disk. Over time, fewer projects will use MapReduce, and more will use Spark But it doesn t make MapReduce obsolete overnight

12 SPARK Fast and general engine for large-scale data processing Criado para Machine Learning Distribuído e Data Mining Abstração de alto nível API s em Java, Python e Scala e shell iterativo Mais rápido que Hadoop até 100 vezes?

13 Camadas Aplicações RDD based tables RDD Streams RDD Based Matrices RDD Based Graphs Spark Engine Spark SQL Spark Streaming (real time processing) MLlib (Machine Learning) GraphX (Graph Processing) Java Python Scala e API s Spark Core Resource Management Storage Spark Core Spark Libs

14 Camadas e HFDS Aplicações RDD based tables RDD Streams RDD Based Matrices RDD Based Graphs Spark Engine Spark SQL Spark Streaming (real time processing) MLlib (Machine Learning) GraphX (Graph Processing) Java Python Scala e API s Spark Core YARN HDFS Spark Core Spark Libs Resource/Cluster Manager Storage

15 Camadas Aplicações RDD based tables RDD Streams RDD Based Matrices RDD Based Graphs Spark Engine Spark SQL Spark Streaming (real time processing) MLlib (Machine Learning) GraphX (Graph Processing) Java Python Scala e API s Spark Core Standalone, YARN, Mesos HDFS, Lustre, EC2/S3 Spark Core Spark Libs Resource/Cluster Manager Storage

16 Camadas e conceitos Driver Program SparkContext Cluster Manager Standalone, YARN ou MESOS Worker Node Worker Node Worker Node Worker Node Executor Cache Executor Cache Executor Cache Executor Cache Task Task Task Task Task Task Task Task

17 RDD - Resilient Distributed dataset Unidade básica de dado no Spark Abstração de memória distribuída Coleção de registros para leitura Se particionado é executado em vários nós do cluster Não é replicado, é reconstruído em caso de falha

18 RDD sparqsql.txt RDD Seamlessly mix SQL queries with Spark programs. Spark SQL lets you query structured data as a distributed dataset (RDD) in Spark, with integrated APIs in Python, Scala and Java. This tight integration makes it easy to run SQL queries alongside complex analytic algorithms. Seamlessly mix SQL queries with Spark programs. Spark SQL lets you query structured data as a distributed dataset (RDD) in Spark, with integrated APIs in Python, Scala and Java. This tight integration makes it easy to run SQL queries alongside complex analytic algorithms.

19 RDD Criado através de leitura de um dataset externo Criado através coleções de objetos (List ou Set)

20 Operações RDD Transformações Ações Retorna um novo RDD filter map Retornam valores first count mappedrdd inputrdd map log => data, bytes trafegados [23/Mar/2014:15:08: ], filter log => codret == 304 RDD Seamlessly mix SQL queries with Spark programs. Spark SQL lets you query structured data as a distributed dataset (RDD) in Spark, with integrated APIs in Python, Scala and Java. This tight integration makes it easy to run SQL queries alongside complex analytic algorithms. count filteredrdd # de palavras

21 Operações RDD Transformações map(func), filter(func), flatmap(func), mappartitions(func), mappartitionswithindex(func), sample(withreplacement, fraction, seed), union(otherdataset), intersection(otherdataset), distinct([numtasks])), groupbykey([numtasks]), reducebykey(func, [numtasks]), aggregatebykey(zerovalue), (seqop, combop, [numtasks]), join(otherdataset, [numtasks]), sortbykey([ascending], [numtasks]), cogroup(otherdataset, [numtasks]), cartesian(otherdataset), pipe(command, [envvars]), coalesce(numpartitions), repartition(numpartitions), repartitionandsortwithinpartitions(partitioner)

22 Operações RDD Ações reduce(func), collect(), count(), first(), take(n), takesample(withreplacement, num, [seed]), takeordered(n, [ordering]), saveastextfile(path), *saveassequencefile(path), *saveasobjectfile(path), countbykey(), foreach(func) * (Java e Scala)

23 Spark e java 7 SectionName

24 Lambda Expressions Funções anônimas ou closures Características de programação funcional () -> Programação concorrente e event-driven (ou reactive") Código mais conciso, claro e elegante SectionName

25 Lambda Expressions Uma expressão Lambda é composta de três partes Argument List Arrow Token Body (int x, int y) -> x+y () -> (x, y) -> x+y x -> x*10 (name) -> { System.out.println( Olá + name); } Processamento de coleções SectionName

26 Spark e Lambda Expressions Java 7 Java 8 e Lambda Expression SectionName

27 Spark e Lambda Expressions SectionName

28 Spark e Lambda Expressions scala> val arqtxt = sc.textfile( teste.txt") Shell scala> val palavras = arqtxt.flatmap(line => line.split( \\W")) scala> val contapalavras = palavras.countbyvalue() JaVA

29 SPARK - Alta Performance Processamento em memória e cache de dados Carga e processamento respeitando localidade Micro batch architecture e Stream Directed Acyclic Graph (DAG) engine

30 RDD - Lineage graph textfile() Clientes filter _.(isativo) Clientes Ativos Clientes JOIN Cliente Produto textfile() Produtos JOIN Cliente Consumo Campanha Adequação save() Produtos FILTER Consumo > Franquia Consumo Mensal textfile() Consumo Mensal fillter Consumo 2015 Jan_MAIO REDUCE BY KEY Média Consumo

31 DAG Clientes Clientes Ativos Cliente Produto filter _.(isativo) Produtos Cliente Consumo CampanhA Adequação estágio 1 JOIN save() Consumo Mensal filter Consumo 2015 Jan_MAIO Média Consumo FILTER Consumo > Franquia JOIN estágio 2 REDUCE BY KEY estágio 3

32 \ Mineração de dados Atividade com o objetivo de obter conhecimento Algoritmos de Machine Learning Reconhecimento de Padrões Estatística SectionName

33 Machine Learning Definição Formal - Tom Mitchell (1998) Dizemos que um programa de computador está aprendendo quando: de uma experiência E, a respeito de uma tarefa T e com uma medida de desempenho P, se o seu desempenho em T, medido em P, melhora com a experiência E. T (Tarefa) - fazer gol T E (experiência) - chutar a bola P (Desempenho) - número de gols marcados P E SectionName

34 Machine Learning 29/Maio/2015 SectionName

35 Machine Learning 29/Maio/2015 SectionName

36 Machine Learning Não é ficção Vários serviços/produtos são baseados nesta tecnologia. Facebook: Detecção e Reconhecimento de Faces É capaz de reconhecer até o rosto de um japonês SectionName Amazon: Recomendação de Livros (Collaborative Filter)

37 Machine Learning Supervisionado Não Supervisionado SectionName Fonte: https://adcalves.files.wordpress.com/2014/06/ml-flowchart.jpg

38 Machine Learning Necessidade de alta performance Dado é acessado iterativamente Spark mais indicado Dados em memória Baixa latência

39 Sistema de recomendação Sistema de Recomendação Ideal Desafios da Vida Real Grande Volume de Dados Único jeito de adivinhar o gosto do cliente X Escalabilidade Diversidade de Clientes e gostos Ataques Shilling attacks

40 Sistema de recomendação Filtro Colaborativo

41 Sistema de recomendação Filtro Colaborativo Usuários similares Recomendação Tipos de Sistema de Recomendação Executado para todos os usuários e a cada nova informação Baseado no Usuário Baseado em Itens

42 Machine learning Por que Spark é indicado para Machine Learning? Logistic regression in Hadoop and Spark SectionName

43 Machine Learning HDFS Read HDFS Write HDFS Read HDFS Write 1 a Iteração 2 a Iteração Input HDFS Read 1 a Iteração 2 a Iteração Input Spark mais performático a cada iteração

44 Machine learning

45 MLLIB Algoritmos e estruturas para Machine Learning Classificação, Collaborative Filtering, Clustering SectionName

46 mllib E MAHOUT SectionName

47 MLLIB Conjunto ainda incompleto de algoritmos SectionName

48 mllib Algoritmos em implementação Redes Neurais SectionName

49 Spark StreAming Receivers batches of input data Micro-batch architecture Streaming em pequenos batches de dados Processar com funções como map, reduce, join

50 Spark StreAm DStream ou discretized stream DStream data from time 0 to 1 data from time 1 to 2 data from time 2 to 3 data from time 3 to 4 Abstração de stream contínuo de dados tempo Sequência de RDDs Intervalo de criação configurável a partir de 500ms log lines DStream fraudes DStream data from time 0 to 1 data from time 0 to 1 data from time 1 to 2 data from time 1 to 2 data from time 2 to 3 data from time 2 to 3 data from time 3 to 4 data from time 3 to 4 Filter detectar fraudes

51 Spark StreAm

52 Spark SQL Módulo para trabalhar com dados estruturados e não estruturados SQL, JDBC e ODBC JSON, Hive, Bancos relacionais via JDBC, Parquet, HDFS, S3 Avro, CSV, ElasticSearch e Cassandra SQLContext e HiveContext DataFrame

53 Spark SQL - DataFrame Coleção de dados distribuídos e organizados em colunas com nomes DataFrame é análogo a uma tabela de um banco relacional. Pode ser construído a partir de arquivos, tabelas e RDDs DataFrame { RDD Cliente Cliente Schema Nome Endereço Telefone Nome Endereço Telefone Cliente Nome Endereço Telefone

54 Spark SQL JDBC

55 Spark SQL

56 Spark e NoSQL Acesso a dados carregados no HDFS Spark SQL Streaming MLib Spark Core GraphX Java Scala Python YARN HDFS NoSQL Conectores Fonte:

57 Spark e NoSQL

58 Arquitetura integrada Fonte de Dados Dados agregados baixa latência Aplicações Online Data Mining e Aplicações Batch Raw Data e Dados Históricos SectionName

59 Arquitetura integrada Dados agregados baixa latência ArduinO Aplicações Online Raspberry Pi Data Mining e Aplicações Batch Intel Galileo RFID SectionName Raw Data e Dados Históricos

60 Conclusão Spark para algoritmos iterativos Usado em conjunto com Hadoop e HDFS Batch em Hadoop Spark Stream, Spark SQL e Spark Graphx SectionName Lambda para código mais conciso

61 Perguntas??

62 Obrigado Claudio Fabio

Tecnologias para Gerenciamento de Dados na Era do Big Data

Tecnologias para Gerenciamento de Dados na Era do Big Data Tecnologias para Gerenciamento de Dados na Era do Big Data Victor Teixeira de Almeida 1,2 Vitor Alcântara Batista 1 1 PETROBRAS 2 Universidade Federal Fluminense (UFF) Importante A Petrobras não é responsável

Leia mais

http://blogging.avnet.com/weblog/cioinsights/tag/big-data/ Storm Processamento e análise real time para Big Data 7/24/12 Fabio Velloso

http://blogging.avnet.com/weblog/cioinsights/tag/big-data/ Storm Processamento e análise real time para Big Data 7/24/12 Fabio Velloso http://blogging.avnet.com/weblog/cioinsights/tag/big-data/ Storm Processamento e análise real time para Big Data Fabio Velloso Fabio Velloso Bio Bacharel em Ciência da Computação - UFSCar MBA FGV Desenvolvedor

Leia mais

São Paulo. Maio/2015

São Paulo. Maio/2015 São Paulo Maio/2015 Padrões de Arquitetura para Big Data Hélio Silva Sr. Big Data Analytics Consultant Professional Services AWS Summit São Paulo Maio/2015 Henrique Souza Especialista de Cloud e Big Data

Leia mais

HadoopDB. Edson Ie Serviço Federal de Processamento de Dados - SERPRO

HadoopDB. Edson Ie Serviço Federal de Processamento de Dados - SERPRO HadoopDB Edson Ie Serviço Federal de Processamento de Dados - SERPRO Motivação Grandes massas de dados precisam ser processadas em clusters: 1 nó: 100TB@59MB/s = 23 dias Cluster com 1000 nós 33 min!!!

Leia mais

Big Data e Hadoop A nova fronteira para inovação

Big Data e Hadoop A nova fronteira para inovação Big Data e Hadoop A nova fronteira para inovação Fabio Velloso Fabio Velloso Bio Bacharel em Ciência da Computação - UFSCar MBA - FGV Programador Java desde 1996 Fundador do SouJava Gerente de Arquitetura

Leia mais

Treinamento em Apache Spark com Scala - Fundamental

Treinamento em Apache Spark com Scala - Fundamental Treinamento em Apache Spark com Scala - Fundamental O treinamento fundamental em Apache Spark prepara profissionais para o mercado de trabalho com Spark e Programação em Scala. Seu conteúdo programático

Leia mais

Grandes volumes de dados pertenciam ao domínio das aplicações científicas até há 15 anos atrás.

Grandes volumes de dados pertenciam ao domínio das aplicações científicas até há 15 anos atrás. Grandes volumes de dados pertenciam ao domínio das aplicações científicas até há 15 anos atrás. Com o crescimento exponencial das aplicações Web o volume de dados que é produzido e processado tornou-se

Leia mais

Arquiteturas Java Pragmá1cas para usar Big Data na Nuvem. Fabiane Bizinella Nardon (@fabianenardon) Fernando Babadopulos (@babadopulos)

Arquiteturas Java Pragmá1cas para usar Big Data na Nuvem. Fabiane Bizinella Nardon (@fabianenardon) Fernando Babadopulos (@babadopulos) Arquiteturas Java Pragmá1cas para usar Big Data na Nuvem Fabiane Bizinella Nardon (@fabianenardon) Fernando Babadopulos (@babadopulos) Nós e Big Data BigDataTailTargetDataScienceMachineLearningHiveHadoopCrunchMongoDBRedisAWS

Leia mais

PERFORMANCE EVALUATION OF A MONGODB AND HADOOP PLATFORM FOR SCIENTIFIC DATA ANALYSIS M.Govindaraju and L. Ramakrishnan

PERFORMANCE EVALUATION OF A MONGODB AND HADOOP PLATFORM FOR SCIENTIFIC DATA ANALYSIS M.Govindaraju and L. Ramakrishnan PERFORMANCE EVALUATION OF A MONGODB AND HADOOP PLATFORM FOR SCIENTIFIC DATA ANALYSIS M.Govindaraju and L. Ramakrishnan Alfredo Fernandes / José Fernandes 6. Avaliação Nesta secção é apresentada as avaliações

Leia mais

BIG DATA INTRODUÇÃO. Humberto Sandmann humberto.sandmann@gmail.com

BIG DATA INTRODUÇÃO. Humberto Sandmann humberto.sandmann@gmail.com BIG DATA INTRODUÇÃO Humberto Sandmann humberto.sandmann@gmail.com Apresentação Humberto Sandmann humberto.sandmann@gmail.com Possui graduação em Ciências da Computação pelo Centro Universitário da Faculdade

Leia mais

MBA Analytics em Big Data

MBA Analytics em Big Data MBA Analytics em Big Data Inscrições Abertas Início das Aulas: 04/06/2015 Dias e horários das aulas: Segunda-Feira 19h00 às 23h00 Semanal Sexta-Feira 19h00 às 23h00 Semanal Carga horária: 600 Horas Duração:

Leia mais

Arquiteturas escaláveis utilizando ferramentas Shared Nothing. Victor Canô

Arquiteturas escaláveis utilizando ferramentas Shared Nothing. Victor Canô Arquiteturas escaláveis utilizando ferramentas Shared Nothing Victor Canô Victor Canô - Founder / CTO @ Cazamba - Founder @ Troz.io /victoracano Conteúdo O que esperamos de uma aplicação? Cloud, benefícios

Leia mais

Engenharia de software 2011A. Trabalho sobre

Engenharia de software 2011A. Trabalho sobre Engenharia de software 2011A Trabalho sobre NOSQL Not only SQL NoSQL Not only SQL GRUPO - 9 Cléverton Heming Jardel Palagi Jonatam Gebing Marcos Wassem NOSQL O Termo NoSQL, foi utilizado pela primeira

Leia mais

Uma Breve Introdução. Andréa Bordin

Uma Breve Introdução. Andréa Bordin Uma Breve Introdução Andréa Bordin O que significa? NoSQL é um termo genérico que define bancos de dados não-relacionais. A tecnologia NoSQL foi iniciada por companhias líderes da Internet - incluindo

Leia mais

BIG DATA: UTILIZANDO A INTERNET PARA TOMADA DE DECISÕES

BIG DATA: UTILIZANDO A INTERNET PARA TOMADA DE DECISÕES BIG DATA: UTILIZANDO A INTERNET PARA TOMADA DE DECISÕES Alex Travagin Chatalov¹, Ricardo Ribeiro Rufino ¹ ¹Universidade Paranaense (Unipar) Paranavaí PR Brasil alex_tr1992@hotmail.com ricardo@unipar.br

Leia mais

Universidade Federal de Goiás Ciências da Computação Sistemas Operacionais 2

Universidade Federal de Goiás Ciências da Computação Sistemas Operacionais 2 Universidade Federal de Goiás Ciências da Computação Sistemas Operacionais 2 MongoDB Diego Fraga - 083746 Gabriel Henrique - 083771 Lauro Henrique - 074259 O que é MongoDB? - MongoDB é uma ferramenta de

Leia mais

Introdução aos Bancos de Dados Não-Relacionais. Mauricio De Diana (mestrando) Marco Aurélio Gerosa (orientador)

Introdução aos Bancos de Dados Não-Relacionais. Mauricio De Diana (mestrando) Marco Aurélio Gerosa (orientador) Introdução aos Bancos de Dados Não-Relacionais Mauricio De Diana (mestrando) Marco Aurélio Gerosa (orientador) Conteúdo Histórico de BDs não-relacionais na Web 4 Categorias de bancos NoSQL Exemplos de

Leia mais

AN IN-DEPTH STUDY OF MAP REDUCE IN CLOUD ENVIRONMENT. Sistemas Distribuídos e Tolerância a Falhas Nuno Garcia m6284, Tiago Carvalho m6294

AN IN-DEPTH STUDY OF MAP REDUCE IN CLOUD ENVIRONMENT. Sistemas Distribuídos e Tolerância a Falhas Nuno Garcia m6284, Tiago Carvalho m6294 AN IN-DEPTH STUDY OF MAP REDUCE IN CLOUD ENVIRONMENT Sistemas Distribuídos e Tolerância a Falhas Nuno Garcia m6284, Tiago Carvalho m6294 Sobre o paper Novia Nurain, Hasan Sarwar, Md.Pervez Sajjad United

Leia mais

Copyright 2012 EMC Corporation. Todos os direitos reservados.

Copyright 2012 EMC Corporation. Todos os direitos reservados. 1 A INFRAESTRUTURA DO FUTURO, HOJE Integrando Greenplum DCA e SAS para permitir estudos analíticos em big data Rafael Aielo Technology Consultant 2 O que é Greenplum? Adquirida pela EMC em julho de 2010

Leia mais

PÓS-GRADUAÇÃO ANÁLISE DE BIG DATA

PÓS-GRADUAÇÃO ANÁLISE DE BIG DATA PÓS-GRADUAÇÃO ANÁLISE DE BIG DATA OBJETIVOS Este curso tem como objetivo principal apresentar de forma clara, objetiva e com aplicações reais como as metodologias de Big Data, Inteligência Artificial e

Leia mais

Uma Avaliação de Desempenho dos Ambientes de Programação Paralela Hadoop e Spark

Uma Avaliação de Desempenho dos Ambientes de Programação Paralela Hadoop e Spark CENTRO FEDERAL DE EDUCAÇÃO TECNOLÓGICA DE MINAS GERAIS Programa de Pós-Graduação em Modelagem Matemática e Computacional Pedro Micael Theosã Lucas Nogueira Pinto Uma Avaliação de Desempenho dos Ambientes

Leia mais

Tempo de Resposta em Sub-Segundos com o novo MicroStrategy 10 In-Memory Analytics. Anderson Santos, Sales Engineer Brazil

Tempo de Resposta em Sub-Segundos com o novo MicroStrategy 10 In-Memory Analytics. Anderson Santos, Sales Engineer Brazil Tempo de Resposta em Sub-Segundos com o novo MicroStrategy 10 In-Memory Analytics Anderson Santos, Sales Engineer Brazil Alta Performance não é mais Desejável em uma Aplicação Analítica Expectativa dos

Leia mais

MAC5855 - NoSQL. Mauricio De Diana mdediana@ime.usp.br @mdediana

MAC5855 - NoSQL. Mauricio De Diana mdediana@ime.usp.br @mdediana MAC5855 - NoSQL Mauricio De Diana mdediana@ime.usp.br @mdediana Web 2.0 Data is the Next Intel Inside Inteligência Coletiva Grande volume de dados Escala global (Internet scale services) Web 2.0 Alto grau

Leia mais

Boas Práticas em Sistemas Web muito além do HTML...

Boas Práticas em Sistemas Web muito além do HTML... Boas Práticas em Sistemas Web muito além do HTML... Adriano C. Machado Pereira (adrianoc@dcc.ufmg.br) De que Web estamos falando? De que Web estamos falando? A Web foi concebida para ser uma biblioteca

Leia mais

Academia de Especialização BIG DATA SPECIALIST

Academia de Especialização BIG DATA SPECIALIST Academia de Especialização BIG DATA SPECIALIST Formato do curso: Presencial e Live Training Preço: desde 251,88 Nível: Avançado Duração: 159 horas Este programa prepara profissionais com competências e

Leia mais

Benjamin Bengfort Jenny Kim

Benjamin Bengfort Jenny Kim Benjamin Bengfort Jenny Kim Novatec Authorized Portuguese translation of the English edition of Data Analytics with Hadoop, ISBN 9781491913703 2016 Benjamin Bengfort, Jenny Kim. This translation is published

Leia mais

E N AT O M O L I N A T O T H

E N AT O M O L I N A T O T H no:sql Not only SQL Renato Molina Toth ww.renatomolina.in R E N AT O M O L I N A T O T H O que é? O que é? Não é uma nova tecnologia, é uma nova abordagem Propõe um modelo alternativo de banco de dados

Leia mais

Neo4j Aprendendo conceitos por trás do Neo4j. Sem SQL? Apresentação. Por que grafos, por que agora? Por que grafos, por que agora?

Neo4j Aprendendo conceitos por trás do Neo4j. Sem SQL? Apresentação. Por que grafos, por que agora? Por que grafos, por que agora? Neo4j Aprendendo conceitos por trás do Neo4j Universidade Federal do Paraná - UFPR Programa de Pós-Graduação em Informática - PPGInf Oficina de Banco de Dados - CI829 Profa: Dra. Carmem Hara Aluno: Walmir

Leia mais

Sistemas Distribuídos

Sistemas Distribuídos Cassandra - Particionamento de Dados Sistemas Distribuídos Douglas Macedo Hugo Lourenço Sumário Introdução Conceito Anel Multíplos Data center Fatores envolvidos Arquitetura do Sistema Módulo de Particionamento

Leia mais

Agenda. Intro Migrando de relatório para uma solução de BI Under the Hood Operação e Lições aprendidas

Agenda. Intro Migrando de relatório para uma solução de BI Under the Hood Operação e Lições aprendidas Agenda Intro Migrando de relatório para uma solução de BI Under the Hood Operação e Lições aprendidas FALAR da SAMBA FALAR da SAMBA HACKWEEKS Reporting & Analytics No Início - Report Fornecer informações

Leia mais

The Eucalyptus Open- source Cloud-computing System. Janaina Siqueira Lara Wilpert Marcelo Scheidt Renata Silva

The Eucalyptus Open- source Cloud-computing System. Janaina Siqueira Lara Wilpert Marcelo Scheidt Renata Silva The Eucalyptus Open- source Cloud-computing System Janaina Siqueira Lara Wilpert Marcelo Scheidt Renata Silva Sumário Introdução Trabalhos Correlatos Eucalyptus Design Conclusões Visão Geral Introdução:

Leia mais

A Nova Interface do Data Discovery no MicroStrategy 10. Anderson Santos, Sales Engineer Brazil 11/08/2015

A Nova Interface do Data Discovery no MicroStrategy 10. Anderson Santos, Sales Engineer Brazil 11/08/2015 A Nova Interface do Data Discovery no MicroStrategy 10 Anderson Santos, Sales Engineer Brazil 11/08/2015 Empresas participantes do MicroStrategy 10 Beta Test Pela primeira vez na história, MicroStrategy

Leia mais

Microserviços: flexibilidade e agilidade a que preço?

Microserviços: flexibilidade e agilidade a que preço? Microserviços: flexibilidade e agilidade a que preço? Summa Technologies www.summa.com.br Einar Saukas Fabio Velloso @fabiovelloso 2005, Summa Technologies, Inc. 1 Einar Saukas Principal Consultant - Summa

Leia mais

Prof. Daniela Barreiro Claro

Prof. Daniela Barreiro Claro Prof. Daniela Barreiro Claro Volume de dados muito grande Principais problemas em relação aos SGBD Relacionais é conciliar o tipo de modelo com a demanda da escalabilidade. Exemplo -Facebook Um crescimento

Leia mais

Interoperabilidade entre Bancos de Dados Relacionais e Bancos de Dados NoSQL

Interoperabilidade entre Bancos de Dados Relacionais e Bancos de Dados NoSQL Minicurso: Interoperabilidade entre Bancos de Dados Relacionais e Bancos de Dados NoSQL Geomar A. Schreiner Ronaldo S. Mello Departamento de Informática e Estatística (INE) Programa de Pós-Graduação em

Leia mais

Noções de. Microsoft SQL Server. Microsoft SQL Server

Noções de. Microsoft SQL Server. Microsoft SQL Server Noções de 1 Considerações Iniciais Basicamente existem dois tipos de usuários do SQL Server: Implementadores Administradores 2 1 Implementadores Utilizam o SQL Server para criar e alterar base de dados

Leia mais

Processamento de Dados Massivos (Big-Data) com Spark. Vinícius Dias Orientador: Dorgival Guedes

Processamento de Dados Massivos (Big-Data) com Spark. Vinícius Dias Orientador: Dorgival Guedes Processamento de Dados Massivos (Big-Data) com Spark Vinícius Dias Orientador: Dorgival Guedes Vivemos em um mundo de dados 2 De que volume de dados estamos falando? Domo Data Never Sleeps 3.0 3 Mas não

Leia mais

Big Data e Análise de Dados: Tendências e Aplicações em Projetos. Marcus Borba. Apresentação

Big Data e Análise de Dados: Tendências e Aplicações em Projetos. Marcus Borba. Apresentação Big Data e Análise de Dados: Tendências e Aplicações em Projetos Marcus Borba 1 Apresentação Marcus Borba CTO - Spark Strategic Business Solution. 30 anos de experiência em tecnologia da informação.. 14

Leia mais

Big Data Definição, Desafios e Análise de dados Seminário da disciplina IN940 - Banco de Dados

Big Data Definição, Desafios e Análise de dados Seminário da disciplina IN940 - Banco de Dados Big Data Definição, Desafios e Análise de dados Seminário da disciplina IN940 - Banco de Dados Aluno: Victor Santos Professor: Ana Carolina Fernando Fonseca AGENDA 1 - O que é Big Data? 2 - Impactos do

Leia mais

Laboratório do Framework Hadoop em Plataformas de Cloud e. Cluster Computing

Laboratório do Framework Hadoop em Plataformas de Cloud e. Cluster Computing Laboratório do Framework Hadoop em Plataformas de Cloud e Framework Hadoop em Plataformas de Cluster Computing Cloud Computing Eng. André Luiz Tibola. Mst. Raffael Bottoli Schemmer Prof. Dr. Cláudio Fernando

Leia mais

Programação de Computadores III

Programação de Computadores III Programação de Computadores III Introdução a Linguagens de Programação Professor Leandro Augusto Frata Fernandes laffernandes@ic.uff.br Material disponível em http://www.ic.uff.br/~laffernandes/teaching/2013.1/tcc-00.157

Leia mais

Big Data 14/12/2012 PÓS-GRADUAÇÃO LATO SENSU. Curso: Banco de Dados. = volume + variedade + velocidade de dados

Big Data 14/12/2012 PÓS-GRADUAÇÃO LATO SENSU. Curso: Banco de Dados. = volume + variedade + velocidade de dados PÓS-GRADUAÇÃO LATO SENSU Big Data Curso: Banco de Dados Disciplina: Data Warehouse e Business Intelligence Professor: Fernando Zaidan Unidade 7 Big Data 2012 Big Data - Contexto Globalização Modelo just

Leia mais

A Cloud Computing Architecture for Large Scale Video Data Processing

A Cloud Computing Architecture for Large Scale Video Data Processing Marcello de Lima Azambuja A Cloud Computing Architecture for Large Scale Video Data Processing Dissertação de Mestrado Dissertation presented to the Postgraduate Program in Informatics of the Departamento

Leia mais

MC714A - 2º Semestre 2015. Nomes: Roberto Hayasida Mariane Previde Cibelle Begalli

MC714A - 2º Semestre 2015. Nomes: Roberto Hayasida Mariane Previde Cibelle Begalli MC714A - 2º Semestre 2015 Nomes: Roberto Hayasida Mariane Previde Cibelle Begalli RAs:103984 121192 135334 Facebook Introdução Os 4 grandes tipos de sistemas de armazenamento utilizados no Facebook: OLTP

Leia mais

NoSQL como suporte à análise de dados nãonormalizados. volume

NoSQL como suporte à análise de dados nãonormalizados. volume NoSQL como suporte à análise de dados nãonormalizados e de grande volume Joel Alexandre Orientador: Professor Luís Cavique Motivação Grande quantidade de registos Tudo é registado Internet of things tudo

Leia mais

Introdução à Ciência da Computação

Introdução à Ciência da Computação Faculdade de Ciências e Tecnologia Departamento de Matemática e Computação Bacharelado em Ciência da Computação Introdução à Ciência da Computação Aula 05 Rogério Eduardo Garcia (rogerio@fct.unesp.br)

Leia mais

Desmis&ficando Tecnologias de Big Data. Victor Teixeira de Almeida Petrobras

Desmis&ficando Tecnologias de Big Data. Victor Teixeira de Almeida Petrobras Desmis&ficando Tecnologias de Big Data Victor Teixeira de Almeida Petrobras Importante A Petrobras não é responsável por qualquer informação con9da nesta apresentação. Todas as opiniões aqui emi9das são

Leia mais

TRINITY Project Microsoft Research Asia

TRINITY Project Microsoft Research Asia TRINITY Project Microsoft Research Asia Universidade Federal do Paraná Curitiba, 17 de setembro de 2013 Desafios da era Big Data BIG DATA e seus 3 V s: Variedade: Dados complexos e semanticamente ricos

Leia mais

www.en-sof.com.br SOLUÇÕES PARA CONTINUIDADE DO NEGÓCIO

www.en-sof.com.br SOLUÇÕES PARA CONTINUIDADE DO NEGÓCIO SOLUÇÕES PARA CONTINUIDADE DO NEGÓCIO 1 Soluções Oracle Voltadas à Continuidade dos Negócios Luciano Inácio de Melo Oracle Database Administrator Certified Oracle Instructor Bacharel em Ciências da Computação

Leia mais

SISTEMA DE GERÊNCIA - DmView

SISTEMA DE GERÊNCIA - DmView Sistema de Gerenciamento DmView O DmView é o Sistema de Gerência desenvolvido para supervisionar e configurar os equipamentos DATACOM, disponibilizando funções para gerência de supervisão, falhas, configuração,

Leia mais

Criando uma plataforma mundial para engajamento de usuários para a Copa do Mundo 2014 na nuvem da Google

Criando uma plataforma mundial para engajamento de usuários para a Copa do Mundo 2014 na nuvem da Google Criando uma plataforma mundial para engajamento de usuários para a Copa do Mundo 2014 na nuvem da Google Daniel Viveiros - Head of Technology Twitter: @dviveiros Site: http://www.ciandt.com/u/viveiros

Leia mais

Apresentação do Artigo

Apresentação do Artigo Apresentação do Artigo Web Search for a Planet: The Google Cluster Architecture Publicado em IEEE Micro Março 2003, pg.22-28 Luiz A.Barroso, Jeffrey Dean, Urs Hölze Frank Juergen Knaesel fknaesel@inf.ufsc.br

Leia mais

? O SQL SERVER é um sistema de gerenciamento de banco de dados relacional que foi desenvolvido inicialmente pela Microsoft em parceria com a Sybase.

? O SQL SERVER é um sistema de gerenciamento de banco de dados relacional que foi desenvolvido inicialmente pela Microsoft em parceria com a Sybase. ? O SQL SERVER é um sistema de gerenciamento de banco de dados relacional que foi desenvolvido inicialmente pela Microsoft em parceria com a Sybase.? Desde de 1994, a Microsoft lança versões do SQL SERVER

Leia mais

Ciência dos Dados. bruno.domingues@intel.com. Preparado por Intel Corporation Bruno Domingues Principal Architect. segunda-feira, 5 de agosto de 13

Ciência dos Dados. bruno.domingues@intel.com. Preparado por Intel Corporation Bruno Domingues Principal Architect. segunda-feira, 5 de agosto de 13 Ciência dos Dados Preparado por Intel Corporation Bruno Domingues Principal Architect bruno.domingues@intel.com Homem na Lua Software Data: 1969 64kb, 2kb, RAM, Fortran Tem que funcionar! Apolo XI Velocidade:

Leia mais

Bases de Dados Relacional/Objeto e NoSQL. Cristina C. Vieira Departamento de Engenharia Eletrónica e Informática

Bases de Dados Relacional/Objeto e NoSQL. Cristina C. Vieira Departamento de Engenharia Eletrónica e Informática Bases de Dados Relacional/Objeto e NoSQL Cristina C. Vieira Departamento de Engenharia Eletrónica e Informática SGBDs Principais tarefas Gerir grandes volumes de dados Suportar acessos eficientes Garantir

Leia mais

Data Mining: Conceitos e Técnicas

Data Mining: Conceitos e Técnicas Data Mining: Conceitos e Técnicas DM, DW e OLAP Data Warehousing e OLAP para Data Mining O que é data warehouse? De data warehousing para data mining Data Warehousing e OLAP para Data Mining Data Warehouse:

Leia mais

Escalando a 99Taxis. Lados obscuros de uma arquitetura distribuída

Escalando a 99Taxis. Lados obscuros de uma arquitetura distribuída Escalando a 99Taxis Lados obscuros de uma arquitetura distribuída Agenda O que é 99Taxis História da arquitetura Arquitetura distribuida O lado obscuro (problemas, erros) Futuro Q&A Apresentação Renato

Leia mais

Hadoop - HDFS. Universidade Federal de Goiás Ciência da Computação

Hadoop - HDFS. Universidade Federal de Goiás Ciência da Computação Hadoop - HDFS Universidade Federal de Goiás Ciência da Computação O que é Hadoop? Um framework para lidar com aplicações distribuídas que fazem uso massivo de dados Originalmente construído para a distribuição

Leia mais

NoSQL: onde, como e por quê? Rodrigo Hjort rodrigo@hjort.co

NoSQL: onde, como e por quê? Rodrigo Hjort rodrigo@hjort.co NoSQL: onde, como e por quê? Rodrigo Hjort rodrigo@hjort.co Quem aqui usa banco de dados? Por que precisamos de SQL? Onde usamos SQL (i.e. ACID)? MAS... Universo digital em expansão Fonte: IDC White Paper,

Leia mais

BIG DATA Armazenamento e Gerenciamento de grandes volumes de dados

BIG DATA Armazenamento e Gerenciamento de grandes volumes de dados BIG DATA Armazenamento e Gerenciamento de grandes volumes de dados Carlos Marques Business Development Manager, Data Connectivity and Integration Latin America & Caribbean Market (CALA) O que veremos hoje?

Leia mais

Estratégia para dentificação dos fatores de maior impacto de aplicações Mapreduce

Estratégia para dentificação dos fatores de maior impacto de aplicações Mapreduce Estratégia para dentificação dos fatores de maior impacto de aplicações Mapreduce Fabiano da Guia Rocha Instituto Federal de Educação, Ciência e Tecnologia de Mato Grosso - Campus Cáceres Av. dos Ramires,

Leia mais

Novidades Oracle 11g. Rio Grande Energia - RGE

Novidades Oracle 11g. Rio Grande Energia - RGE Novidades Oracle 11g Daniel Güths Rio Grande Energia - RGE 1 Agenda Oracle Database 11g new features SQL e PL/SQL new features Performance e gerenciamento de recursos Gerenciamento de mudanças Gerenciamento

Leia mais

Migrando seu site para o Azure utilizando

Migrando seu site para o Azure utilizando Migrando seu site para o Azure utilizando Plataforma como serviço. DEV210 Migrando seu site para o Azure utilizando Plataforma como serviço. Quem é o palestrante? Vinícius Souza Evangelista Técnico @vbs_br

Leia mais

Prof. Daniela Barreiro Claro

Prof. Daniela Barreiro Claro Prof. Daniela Barreiro Claro Volume de dados muito grande Principais problemas em relacao aos SGBD Relacionais é conciliar o tipo de modelo com a demanda da escalabilidade. Exemplo -Facebook Um crescimento

Leia mais

Fábio Giordani. Técnico em Processamento de Dados Adm. Análise de Sistemas. Outros cursos. Coordenador Projetos e Consultoria em Infraestrutura

Fábio Giordani. Técnico em Processamento de Dados Adm. Análise de Sistemas. Outros cursos. Coordenador Projetos e Consultoria em Infraestrutura Fábio Giordani Técnico em Processamento de Dados Adm. Análise de Sistemas Cobol Developer (Caracter mode ;-) DBA (Oracle 7.1...) Developer (GUI) Java Outros cursos Coordenador Projetos e Consultoria em

Leia mais

Uma Abordagem de Classificação não Supervisionada de Carga de Trabalho MapReduce Utilizando Análise de Log

Uma Abordagem de Classificação não Supervisionada de Carga de Trabalho MapReduce Utilizando Análise de Log paper:37 Uma Abordagem de Classificação não Supervisionada de Carga de Trabalho MapReduce Utilizando Análise de Log Ivan Luiz Picoli¹, Eduardo Cunha de Almeida¹ Nível: Mestrado; Ano de Ingresso: 2013;

Leia mais

pesquisa.sapo.pt João Pedro Gonçalves Codebits, 14 de Novembro 2007

pesquisa.sapo.pt João Pedro Gonçalves Codebits, 14 de Novembro 2007 pesquisa.sapo.pt João Pedro Gonçalves Codebits, 14 de Novembro 2007 Agenda A Pesquisa do SAPO Como funciona um motor de Pesquisa APIs de acesso à Pesquisa A Pesquisa do SAPO 40 milhões Pesquisas por mês.

Leia mais

IBM Netezza High Capacity Appliance

IBM Netezza High Capacity Appliance IBM Netezza High Capacity Appliance Arquivamento de dados na grandeza peta, Análises e Soluções de Recuperação de Danos Destaque do IBM Netezza High Capacity Appliance: Permite consultar e analisar os

Leia mais

Megastore: Solução para as crescentes exigências dos serviços na nuvem. Katharina C. Garcia 317144

Megastore: Solução para as crescentes exigências dos serviços na nuvem. Katharina C. Garcia 317144 Megastore: Solução para as crescentes exigências dos serviços na nuvem Katharina C. Garcia 317144 Agenda Problema e Solução Replicação e Paxos Arquitetura Particionamento Modelo de dados Algoritmos Tratamentos

Leia mais

MONICA - Portal de Monitoração dos algoritmos de Controle Avançado do Refino na Petrobras

MONICA - Portal de Monitoração dos algoritmos de Controle Avançado do Refino na Petrobras MONICA - Portal de Monitoração dos algoritmos de Controle Avançado do Refino na Petrobras Presented by Eduardo Henrique Prange Altamir Neves Gomes Copyright 2014-15 OSIsoft, LLC. Introdução Histórico;

Leia mais

Introdução à Computação na Nuvem Markus Endler

Introdução à Computação na Nuvem Markus Endler http://picasaweb.google.com/markus.endler/favorites?feat=directlink directlink Introdução à Computação na Nuvem Markus Endler Agenda História e Contexto Definições i e Tipos Exemplos de Cloud computing

Leia mais

Windows Azure. Uma plataforma para Cloud Computing. I Innovation Day Curitiba 2010. Waldemir Cambiucci Arquiteto de Soluções Microsoft Brasil

Windows Azure. Uma plataforma para Cloud Computing. I Innovation Day Curitiba 2010. Waldemir Cambiucci Arquiteto de Soluções Microsoft Brasil I Innovation Day Curitiba 2010 Windows Azure Uma plataforma para Cloud Computing http://blogs.msdn.com/wcamb/ http://twitter.com/wcamb/ Waldemir Cambiucci Arquiteto de Soluções Microsoft Brasil 27 de Março

Leia mais

The Eucalyptus Open-source Cloud-computing System

The Eucalyptus Open-source Cloud-computing System The Eucalyptus Open-source Cloud-computing System O sistema Open Source de nuvens computacionais Eucalyptus Daniel Nurmi, Rich Wolski, Chris Grzegorczyk, Graziano Obertelli, Sunil Soman, Lamia Youseff,

Leia mais

Dado: Fatos conhecidos que podem ser registrados e têm um significado implícito. Banco de Dados:

Dado: Fatos conhecidos que podem ser registrados e têm um significado implícito. Banco de Dados: MC536 Introdução Sumário Conceitos preliminares Funcionalidades Características principais Usuários Vantagens do uso de BDs Tendências mais recentes em SGBDs Algumas desvantagens Modelos de dados Classificação

Leia mais

Parte II Introdução a Linguagens de Programação

Parte II Introdução a Linguagens de Programação Programação de Computadores III Aula 1 Professor Leandro Augusto Frata Fernandes laffernandes@ic.uff.br Material disponível em http://www.ic.uff.br/~laffernandes/teaching/2011.1/tcc-03.063 Roteiro da Aula

Leia mais

Python + Spark = PySpark. Prof. Fabrício Olivetti de França Universidade Federal do ABC

Python + Spark = PySpark. Prof. Fabrício Olivetti de França Universidade Federal do ABC Python + Spark = PySpark Prof. Fabrício Olivetti de França Universidade Federal do ABC Spark Plataforma para processamento de dados em larga escala. Baseado em transformações preguiçosas dos dados. Estende

Leia mais

Com as mudanças tecnológicas e acirramento da competitivadade, Advanced Analytics tornou-se uma prioridade para as áreas de negócio

Com as mudanças tecnológicas e acirramento da competitivadade, Advanced Analytics tornou-se uma prioridade para as áreas de negócio Agenda Contexto Advanced Analytics Qlik Portfolio e Advanced Analytics Teradata + Qlik + Keyrus Business Case Qlik Sense Arquitetura Técnica Qlik Sense Integração Qlik Sense & Teradata Aster Com as mudanças

Leia mais

Geo Big Data - criar mapas incríveis com milhões de pontos pode ser simples

Geo Big Data - criar mapas incríveis com milhões de pontos pode ser simples 21/10/2014 gogeo High Performance Maps Platform www.gogeo.io Vagner Sacramento Quem somos? Head Vagner Sacramento - Ph.D in Computer Science - Experienced in Distributed Algorithms - Experienced in Distributed

Leia mais

Weather Search System

Weather Search System Weather Search System PROJECTO DE COMPUTAÇÃO EM NUVEM RELATÓRIO Grupo 2 Gonçalo Carito - Nº57701 Bernardo Simões - Nº63503 Guilherme Vale - Nº64029 Índice Weather Search System...1 1. A Solução Implementada...3

Leia mais

NoSQL. Arthur Azevedo Rafael Benedito

NoSQL. Arthur Azevedo Rafael Benedito NoSQL Arthur Azevedo Rafael Benedito Aviso! O que você vai ver/aprender nessa apresentação: Conceitos de banco de dados NoSQL; Taxonomia de banco de dados NoSQL; Conceitos de Banco de Dados distribuídos;

Leia mais

Worldwide Online TechDay. 30 - Outubro

Worldwide Online TechDay. 30 - Outubro 30 - Outubro 1 Como funciona um banco de dados Microsoft SQL Server? Fabricio Catae Premier Field Engineer Microsoft Certified Master Twitter: @fcatae WebSite: http://blogs.msdn.com/fcatae/ 2 Nossos Parceiros

Leia mais

Aula 02: Conceitos Fundamentais

Aula 02: Conceitos Fundamentais Aula 02: Conceitos Fundamentais Profa. Ms. Rosângela da Silva Nunes 1 de 26 Roteiro 1. Por que mineração de dados 2. O que é Mineração de dados 3. Processo 4. Que tipo de dados podem ser minerados 5. Que

Leia mais

Engenharia de Software Aplicações de Internet

Engenharia de Software Aplicações de Internet Engenharia de Software Aplicações de Internet Eduardo Santos eduardo.edusantos@gmail.com eduardo.santos@planejamento.gov.br www.softwarepublico.gov.br Histórico Por que existe a Internet? Por que existe

Leia mais

Case Azul Linhas Aéreas Monitoramento e interação via mídias sociais

Case Azul Linhas Aéreas Monitoramento e interação via mídias sociais Case Azul Linhas Aéreas Monitoramento e interação via mídias sociais Fabio Marão Jacques Bretas Gerente de Marketing Interativo Azul Linhas Aéreas Gerente de Negócios Cloud Computing SAP As mídias sociais

Leia mais

UFRJ IM - DCC. Sistemas Operacionais I. Unidade I Introdução. 11/02/2014 Prof. Valeria M. Bastos

UFRJ IM - DCC. Sistemas Operacionais I. Unidade I Introdução. 11/02/2014 Prof. Valeria M. Bastos UFRJ IM - DCC Sistemas Operacionais I Unidade I Introdução 11/02/2014 Prof. Valeria M. Bastos 1 ORGANIZAÇÃO DA UNIDADE Introdução Conceituação de SO Funções Básicas Breve Histórico Tipos de SO Fundamentos

Leia mais

Processamento de Big Data com bancos de dados NoSQL para desenvolvedores Java. Fernando Babadopulos (@babadopulos)

Processamento de Big Data com bancos de dados NoSQL para desenvolvedores Java. Fernando Babadopulos (@babadopulos) Processamento de Big Data com bancos de dados NoSQL para desenvolvedores Java Fernando Babadopulos (@babadopulos) Eu tenho um Big Data? Ok, tenho um Big Data, e agora? Mas como funciona o hadoop? fapa

Leia mais

Prof. Marcos Ribeiro Quinet de Andrade Universidade Federal Fluminense - UFF Pólo Universitário de Rio das Ostras - PURO

Prof. Marcos Ribeiro Quinet de Andrade Universidade Federal Fluminense - UFF Pólo Universitário de Rio das Ostras - PURO Conceitos básicos e serviços do Sistema Operacional Prof. Marcos Ribeiro Quinet de Andrade Universidade Federal Fluminense - UFF Pólo Universitário de Rio das Ostras - PURO Tipos de serviço do S.O. O S.O.

Leia mais

SUMÁRIO CAPÍTULO 1 - INTRODUÇÃO 19 CAPÍTULO 2 - CONCEITOS 25

SUMÁRIO CAPÍTULO 1 - INTRODUÇÃO 19 CAPÍTULO 2 - CONCEITOS 25 SUMÁRIO LISTA DE FIGURAS LISTA DE TABELAS LISTA DE SIGLAS E ABREVIATURAS Pág. CAPÍTULO 1 - INTRODUÇÃO 19 CAPÍTULO 2 - CONCEITOS 25 2.1 A tecnologia de orientação a objetos 25 2.1.1 Projeto de software

Leia mais

INES 2.0. Proposta de arquitetura e projeto piloto em andamento 27/02/2015

INES 2.0. Proposta de arquitetura e projeto piloto em andamento 27/02/2015 INES 2.0 Proposta de arquitetura e projeto piloto em andamento 27/02/2015 Roteiro Proposta da arquitetura do INES 2.0 Projeto em andamento no INES 1.0 Mundo exterior: Sensores (IoT), Usuários (Crowdsensing),

Leia mais

O que significa programar e a razão da sua importância. os sistemas informáticos dependem da interacção de inúmeros programas

O que significa programar e a razão da sua importância. os sistemas informáticos dependem da interacção de inúmeros programas Capítulo 1 Introdução Enquadramento da disciplina O que significa programar e a razão da sua importância basilar em qualquer curso de computação os sistemas informáticos dependem da interacção de inúmeros

Leia mais

Aplicações Práticas com Redes Neurais Artificiais em Java

Aplicações Práticas com Redes Neurais Artificiais em Java com em Java Luiz D Amore e Mauro Schneider JustJava 2009 17 de Setembro de 2009 Palestrantes Luiz Angelo D Amore luiz.damore@metodista.br Mauro Ulisses Schneider mauro.schneider@metodista.br http://blog.mauros.org

Leia mais

MINERAÇÃO DE DADOS APLICADA. Pedro Henrique Bragioni Las Casas pedro.lascasas@dcc.ufmg.br

MINERAÇÃO DE DADOS APLICADA. Pedro Henrique Bragioni Las Casas pedro.lascasas@dcc.ufmg.br MINERAÇÃO DE DADOS APLICADA Pedro Henrique Bragioni Las Casas pedro.lascasas@dcc.ufmg.br Processo Weka uma Ferramenta Livre para Data Mining O que é Weka? Weka é um Software livre do tipo open source para

Leia mais

Hoje é inegável que a sobrevivência das organizações depende de dados precisos e atualizados.

Hoje é inegável que a sobrevivência das organizações depende de dados precisos e atualizados. BANCO DE DADOS Universidade do Estado de Santa Catarina Centro de Ciências Tecnológicas Departamento de Ciência da Computação Prof. Alexandre Veloso de Matos alexandre.matos@udesc.br INTRODUÇÃO Hoje é

Leia mais

Sistemas de Gerência de Bancos de Dados. 7 - Outras Arquiteturas para SGBDs 7.2 - SGBDs Cliente-Servidor

Sistemas de Gerência de Bancos de Dados. 7 - Outras Arquiteturas para SGBDs 7.2 - SGBDs Cliente-Servidor Sistemas de Gerência de Bancos de Dados 7 - Outras Arquiteturas para SGBDs 7.2 - SGBDs Cliente-Servidor 1 Alternativas de Arquitetura Consistência de Cache Tópicos 2 Servidor de Objetos: Alternativas de

Leia mais

Ferramentas Livres de Armazenamento e Mineração de Dados

Ferramentas Livres de Armazenamento e Mineração de Dados Ferramentas Livres de Armazenamento e Mineração de Dados JasperBI, Pentaho, Weka 09/2009 Eng. Pablo Jorge Madril pmadril@summa.com.br Summa Technologies www.summa.com.br Eng. Pablo Jorge Madril pmadril@summa.com.br

Leia mais

Python Funções. Introdução à Programação SI1

Python Funções. Introdução à Programação SI1 Python Funções Introdução à Programação SI1 Conteúdo Funções Conceitos Objetivos Modularização Exemplos Exercícios 2 Funções O que são? Qual a função de uma função? 3 Imagine o código 4 Imagine o código

Leia mais

Sistemas Operacionais 2014 Introdução. Alexandre Augusto Giron alexandre.a.giron@gmail.com

Sistemas Operacionais 2014 Introdução. Alexandre Augusto Giron alexandre.a.giron@gmail.com Sistemas Operacionais 2014 Introdução Alexandre Augusto Giron alexandre.a.giron@gmail.com Roteiro Sistemas Operacionais Histórico Estrutura de SO Principais Funções do SO Interrupções Chamadas de Sistema

Leia mais

SISTEMAS OPERACIONAIS II ESPECIFICAÇÃO CAMADA INDEPENDENTE

SISTEMAS OPERACIONAIS II ESPECIFICAÇÃO CAMADA INDEPENDENTE ANDRÉ LUCHESI CESAR HENRIQUE KÁLLAS SISTEMAS OPERACIONAIS II ESPECIFICAÇÃO CAMADA INDEPENDENTE Pontifícia Universidade Católica de Campinas Faculdade de Engenharia de Computação Turma III Grupo 9 Agosto

Leia mais

Seminário apresentado em 29/06/2017 Disciplina: Sistemas Distribuídos Professora: Noemi Rodriguez Aluno: Ricardo Dias

Seminário apresentado em 29/06/2017 Disciplina: Sistemas Distribuídos Professora: Noemi Rodriguez Aluno: Ricardo Dias Seminário apresentado em 29/06/2017 Disciplina: Sistemas Distribuídos Professora: Noemi Rodriguez Aluno: Ricardo Dias Visão Geral Alta disponibilidade & tolerante a falhas Banco de dados distribuído de

Leia mais