Desmis&ficando Tecnologias de Big Data. Victor Teixeira de Almeida Petrobras

Tamanho: px
Começar a partir da página:

Download "Desmis&ficando Tecnologias de Big Data. Victor Teixeira de Almeida Petrobras"

Transcrição

1 Desmis&ficando Tecnologias de Big Data Victor Teixeira de Almeida Petrobras

2 Importante A Petrobras não é responsável por qualquer informação con9da nesta apresentação. Todas as opiniões aqui emi9das são de inteira e exclusiva responsabilidade do autor. 4/11/2014 Desmis9ficando Tecnologias de Big Data 2

3 Desmis&ficando Tecnologias de Big Data Obje9vo: Este minicurso pretende desmis9ficar o tema big data em termos de tecnologias Ao final deste minicurso, vocês serão capazes de entender as principais diferenças entre as tecnologias existentes e de eventualmente definir a(s) melhor(es) para atacar(em) determinados problemas. 4/11/2014 Desmis9ficando Tecnologias de Big Data 3

4 Big Data De onde surgiram as novas tecnologias 4/11/2014 Desmis9ficando Tecnologias de Big Data 4

5 Tecnologias de big data Escalabilidade horizontal Processamento massivamente paralelo... Shared- nothing 4/11/2014 Desmis9ficando Tecnologias de Big Data 5

6 Tecnologias de Big Data SGBD relacional SGBD relacional orientado a colunas SGBD relacional em memória SGBD MPP NoSQL NewSQL Hadoop Machine Learning Visualização Data Scien9st 4/11/2014 Desmis9ficando Tecnologias de Big Data 6

7 Tecnologias de Big Data SGBD relacional SGBD relacional orientado a colunas SGBD relacional em memória SGBD MPP NoSQL NewSQL Hadoop Machine Learning Visualização Data Scien9st 4/11/2014 Desmis9ficando Tecnologias de Big Data 7

8 SGBD Relacional Álgebra relacional Controle de concorrência e transações (ACID) Linguagem de consulta padrão declara9va (SQL) Índices para facilitar o acesso aos dados Seleção Projeção σ π Renomear ρ Junção Agregação ϒ SQL 4/11/2014 Desmis9ficando Tecnologias de Big Data 8

9 O&mização de consultas (e.g. junções) Ordem R S T Algoritmo R S T R T S Nested loops join Sort- merge join Merge join Hash join... R S R S T 4/11/2014 Desmis9ficando Tecnologias de Big Data 9

10 SGBDs Relacionais 4/11/2014 Desmis9ficando Tecnologias de Big Data 10

11 Tecnologias de Big Data SGBD relacional SGBD relacional orientado a colunas SGBD relacional em memória SGBD MPP NoSQL NewSQL Hadoop Machine Learning Visualização Data Scien9st 4/11/2014 Desmis9ficando Tecnologias de Big Data 11

12 SGBD orientado a colunas orientado a linhas OLTP 1 João da Silva 5/8/ ID NOME DT_NASC TEL 1 João da Silva 5/8/ Manuel Carlos 3/12/ Júlia Almeida 12/1/ Maria José 1/9/ Alberto Jr. 23/2/ Ana Carolina 21/8/ Manuel Carlos 3/12/ Júlia Almeida 12/1/ Maria José 1/9/ OLAP orientado a colunas compressão de dados João da Silva Manuel Carlos Júlia Almeida Maria José Alberto Jr. Ana Carolina 5/8/1986 3/12/ /1/1991 1/9/ /2/ /8/ /11/2014 Desmis9ficando Tecnologias de Big Data 12

13 SGBDs orientados a colunas C- Store 4/11/2014 Desmis9ficando Tecnologias de Big Data 13

14 Tecnologias de Big Data SGBD relacional SGBD relacional orientado a colunas SGBD relacional em memória SGBD MPP NoSQL NewSQL Hadoop Machine Learning Visualização Data Scien9st 4/11/2014 Desmis9ficando Tecnologias de Big Data 14

15 SGBD em memória Gerenciador de transações Operação de E/S Gerenciador de páginas Cache de disco em memória (e.g. LRU) pg_id página (4k, 8k, 16k) ÇLAEUIRQO8WY8098Y Q9U8-9J DÍPOAUSEAUS JP98QW34U50982UR P QPPPPAJ809SGHA98SHG IJAF PSDJFAPS09JP9203J JPONIDFPASD90QW8J A98SJHAF07SHDF0A78S Log de transações Base de dados 4/11/2014 Desmis9ficando Tecnologias de Big Data 15

16 SGBD em memória Operação de E/S 1 João da Silva 5/8/ Manuel Carlos 3/12/ Gerenciador de transações Júlia Almeida Maria José Alberto Jr. Ana Carolina 12/1/1991 1/9/ /2/ /8/ Log de transações 4/11/2014 Desmis9ficando Tecnologias de Big Data 16

17 SGBDs em memória 4/11/2014 Desmis9ficando Tecnologias de Big Data 17

18 Tecnologias de Big Data SGBD relacional SGBD relacional orientado a colunas SGBD relacional em memória SGBD MPP NoSQL NewSQL Hadoop Machine Learning Visualização Data Scien9st 4/11/2014 Desmis9ficando Tecnologias de Big Data 18

19 SGBD MPP Dados distribuídos (par9cionamento horizontal) Processamento (algoritmos) paralelo de consultas OLAP 4/11/2014 Desmis9ficando Tecnologias de Big Data 19

20 SGBD MPP Algoritmo R S R S R S R S R S Hash(X) 4/11/2014 Desmis9ficando Tecnologias de Big Data 20

21 SGBDs MPP 4/11/2014 Desmis9ficando Tecnologias de Big Data 21

22 SGBDs MPP 4/11/2014 Desmis9ficando Tecnologias de Big Data 22

23 Tecnologias de Big Data SGBD relacional SGBD relacional orientado a colunas SGBD relacional em memória SGBD MPP NoSQL NewSQL Hadoop Machine Learning Visualização Data Scien9st 4/11/2014 Desmis9ficando Tecnologias de Big Data 23

24 NoSQL Escalabilidade SGBDs relacionais não escalam Teorema CAP Abandono da linguagem SQL Interface simples de acesso aos dados (put/get) Modelo de dados flexível (dependente da aplicação/dados) Um conjunto de dados (sem junção) Availability Sharding (par9cionalmento horizontal) Consistency Par99on Tolerance 4/11/2014 Desmis9ficando Tecnologias de Big Data 24

25 NoSQL SGBDs relacionais não escalam Sharding (par9cionamento horizontal) + Two- phase commit Tenho que tentar colocar dados relacionados em transações no mesmo local, para evitar transações distribuídas 4/11/2014 Desmis9ficando Tecnologias de Big Data 25

26 NoSQL SGBDs relacionais não escalam OLTP OLAP 4/11/2014 Desmis9ficando Tecnologias de Big Data 26

27 Exemplo Pergunta em entrevista na Google: como implementar consultas top10? Base de dados com termos de consulta e suas respec9vas contagens (quantas vezes aquele termo foi consultado) Cada vez que um termo é consultado no Google, adiciona- se 1 à contagem Um SGBD relacional aguenta esta vazão (throughput) de transações de update? Consulta é uma ordenação dos termos pelas contagens, escolhendo- se os 10 primeiros resultados Um SGBD relacional aguenta este volume de termos de consulta? 4/11/2014 Desmis9ficando Tecnologias de Big Data 27

28 NoSQL Modelagens para dados de séries temporais Granularidade: segundo Granularidade: minuto Granularidade: hora Granularidade: hora Fonte: hcp://blog.mongodb.org/post/ /schema- design- for- Pme- series- data- in- mongodb 4/11/2014 Desmis9ficando Tecnologias de Big Data 28

29 NoSQL Fonte: hcp://blogs.enterprisedb.com/2014/09/24/postgres- outperforms- mongodb- and- ushers- in- new- developer- reality/ 4/11/2014 Desmis9ficando Tecnologias de Big Data 29

30 NoSQL 4/11/2014 Desmis9ficando Tecnologias de Big Data 30

31 Tecnologias de Big Data SGBD relacional SGBD relacional orientado a colunas SGBD relacional em memória SGBD MPP NoSQL NewSQL Hadoop Machine Learning Visualização Data Scien9st 4/11/2014 Desmis9ficando Tecnologias de Big Data 31

32 NewSQL Classe de SGBDs modernos que tentam prover a mesma escalabilidade dos sistemas NoSQL para OLTP, mantendo a garan9a ACID dos SGBDs tradicionais Modelo relacional e SQL Controle de concorrência distribuído (estado da arte) Em memória Algoritmos de sharding 4/11/2014 Desmis9ficando Tecnologias de Big Data 32

33 NewSQL 4/11/2014 Desmis9ficando Tecnologias de Big Data 33

34 Tecnologias de Big Data SGBD relacional SGBD relacional orientado a colunas SGBD relacional em memória SGBD MPP NoSQL NewSQL Hadoop Machine Learning Visualização Data Scien9st 4/11/2014 Desmis9ficando Tecnologias de Big Data 34

35 Hadoop So~ware livre (Apache So~ware Founda9on) Sistema de arquivos distribuído (HDFS) Processamento paralelo de dados (MapReduce) Linguagens declara9vas (Hive e Pig) Adições Spark/Shark Impala/HAWK... 4/11/2014 Desmis9ficando Tecnologias de Big Data 35

36 Hadoop (histórico) 4/11/2014 Desmis9ficando Tecnologias de Big Data 36

37 HDFS Arquivos divididos em blocos (default 64MB) Cada bloco é replicado em algumas poucas máquinas no cluster (default 3) Estrutura namenode: que conhece os metadados e a localidade datanodes: onde os blocos estão armazenados 4/11/2014 Desmis9ficando Tecnologias de Big Data 37

38 MapReduce Framework de processamento paralelo Tolerância a falhas 4/11/2014 Desmis9ficando Tecnologias de Big Data 38

39 Exemplo WordCount (contagem de palavras) 4/11/2014 Desmis9ficando Tecnologias de Big Data 39

40 Exemplo (WordCount) dog cat dog dog fox dog lion cat dog dog lion fox cat 4/11/2014 Desmis9ficando Tecnologias de Big Data 40

41 Exemplo Sel oin Junção de uma tabela com ela mesma R(X,Y) X=Y R(X,Y) 4/11/2014 Desmis9ficando Tecnologias de Big Data 41

42 Hive Desenvolvido pelo Facebook Man9do atualmente por Facebook, Ne lix, dentre outros HiveQL, linguagem similar a SQL, abstraindo funções MapReduce Não cria um SGBD, simplesmente executa jobs MapReduce hive> CREATE TABLE twitter(follower INT, followee INT); hive> LOAD DATA INPATH '/input/twitter' OVERWRITE INTO TABLE twitter; hive> SELECT COUNT(*) > FROM twitter R JOIN twitter S ON R.followee = S.follower; 4/11/2014 Desmis9ficando Tecnologias de Big Data 42

43 Pig Desenvolvido pela Yahoo! ~2006 Movido para o Hadoop em 2007 Linguagem (Pig La9n) de alto nível para abstrair a linguagem Java grunt> Twitter_1 = LOAD '/input/twitter' USING PigStorage(' ') AS (follower:int, followee:int); grunt> Twitter_2 = LOAD '/input/twitter' USING PigStorage(' ') AS (follower:int, followee:int); grunt> Twitter_SelfJoin = JOIN Twitter_1 by $1, Twitter_2 by $0; grunt> Twitter_SelfJoin_Grp = GROUP Twitter_SelfJoin ALL; grunt> Twitter_SelfJoin_Cnt = FOREACH Twitter_SelfJoin_Grp GENERATE COUNT(Twitter_SelfJoin); grunt> DUMP Twitter_SelfJoin_Cnt; 4/11/2014 Desmis9ficando Tecnologias de Big Data 43

44 Spark Spark: Hadoop em memória Shark SQL: SQL para Spark (assim como Hive) Ideia: alteração do mecanismo de tolerância a falhas não- falha: execução mais rápida (dados em memória, sem necessidade de salvar em disco cada resultado) falha: execução mais lenta (rollback de diversas etapas do processo, não somente uma como no Hadoop) 100x mais rápido 4/11/2014 Desmis9ficando Tecnologias de Big Data 44

45 Cloudera Impala SGBD MPP em cima de HDFS Sem uso de MapReduce 4/11/2014 Desmis9ficando Tecnologias de Big Data 45

46 Hadoop 4/11/2014 Desmis9ficando Tecnologias de Big Data 46

47 E o que eu faço com toda essa tecnologia? 4/11/2014 Desmis9ficando Tecnologias de Big Data 47

48 E o que eu faço com toda essa tecnologia? 4/11/2014 Desmis9ficando Tecnologias de Big Data 48

49 Tecnologias de Big Data SGBD relacional SGBD relacional orientado a colunas SGBD relacional em memória SGBD MPP NoSQL NewSQL Hadoop Machine Learning Visualização Data Scien9st 4/11/2014 Desmis9ficando Tecnologias de Big Data 49

50 Machine Learning R R e Hadoop R e MonetDB (ontem) Madlib Primi9vas de machine learning (gradient descent) para o banco de dados (in- database) Shark Machine learning library Mahout Algoritmos de machine learning para Hadoop MLaaS Nirvana 4/11/2014 Desmis9ficando Tecnologias de Big Data 50

51 R Linguagem e IDE para cálculos esta s9cos Interfaces para Oracle MonetDB (no cia ontem) Hadoop (RHadoop package)... 4/11/2014 Desmis9ficando Tecnologias de Big Data 51

52 Mahout Biblioteca de algoritmos de machine learning para Hadoop MapReduce Abandonaram recentemente o Hadoop MapReduce para Apache Spark Implementações para Single machine MapReduce Spark H2O Apache Flink 4/11/2014 Desmis9ficando Tecnologias de Big Data 52

53 Madlib Algoritmos de machine learning interno ao banco de dados Classificação Regressão Clustering Regras de associação Implementações para PostgreSQL Pivotal Greenplum Database Pivotal Greenplum HAWQ 4/11/2014 Desmis9ficando Tecnologias de Big Data 53

54 Spark MLlib Mesmo que o Madlib para Spark Regressão Classificação Collabora9ve filtering Clustering Decomposição (SVD e PCA) Implementações para Java, Scala e Python 4/11/2014 Desmis9ficando Tecnologias de Big Data 54

55 Outros 4/11/2014 Desmis9ficando Tecnologias de Big Data 55

56 Nirvana Machine Learning as a Service (MLaaS) 4/11/2014 Desmis9ficando Tecnologias de Big Data 56

57 Tecnologias de Big Data SGBD relacional SGBD relacional orientado a colunas SGBD relacional em memória SGBD MPP NoSQL NewSQL Hadoop Machine Learning Visualização Data Scien9st 4/11/2014 Desmis9ficando Tecnologias de Big Data 57

58 Visualização Preparação dos dados e modelagem 95% do tempo Execução dos modelos 5% do tempo Interpretação e visualização dos resultados Outros 95% do tempo 4/11/2014 Desmis9ficando Tecnologias de Big Data 58

59 Visualização 4/11/2014 Desmis9ficando Tecnologias de Big Data 59

60 Tecnologias de Big Data SGBD relacional SGBD relacional orientado a colunas SGBD relacional em memória SGBD MPP NoSQL NewSQL Hadoop Machine Learning Visualização Data Scien9st 4/11/2014 Desmis9ficando Tecnologias de Big Data 60

61 Cien&sta de dados (data scien*st) 4/11/2014 Desmis9ficando Tecnologias de Big Data 61

62 Cien&sta de dados (data scien*st) US faces shortage of 140,000 to 190,000 people with deep analy9cal skills, as well as 1.5 million managers and analysts with the know- how to use the analysis of big data to make effec9ve decisions. Fonte: Big data: The next fronper for innovapon, compeppon, and producpvity, Mckinsey Global InsPtute 4/11/2014 Desmis9ficando Tecnologias de Big Data 62

63 Cien&sta de dados (data scien*st) An individual responsible for modeling complex business problems, discovering business insights and iden9fying opportuni9es through the use of sta9s9cal, algorithmic, mining and visualiza9on techniques. In addi9on to advanced analy9c skills, this individual is also proficient at integra9ng and preparing large, varied datasets, architec9ng specialized database and compu9ng environments, and communica9ng results. A data scien9st may or may not have specialized industry knowledge to aid in modeling business problems and with understanding and preparing data. So~ Skills: Communica9on, Collabora9on, Leadership, Crea9vity, Discipline, Passion Fonte: Gartner, Emerging Role of the Data ScienPst and the Art of Data Science Published: 20 March 2012 ID:G Analyst(s): Douglas Laney Lisa Kart 4/11/2014 Desmis9ficando Tecnologias de Big Data 63

64 Cien&sta de dados (data scien*st) Especialização no Coursera 4/11/2014 Desmis9ficando Tecnologias de Big Data 64

65 Cien&sta de dados (data scien*st) Outros cursos no Coursera 4/11/2014 Desmis9ficando Tecnologias de Big Data 65

66 Obrigado Contato:

Tecnologias para Gerenciamento de Dados na Era do Big Data

Tecnologias para Gerenciamento de Dados na Era do Big Data Tecnologias para Gerenciamento de Dados na Era do Big Data Victor Teixeira de Almeida 1,2 Vitor Alcântara Batista 1 1 PETROBRAS 2 Universidade Federal Fluminense (UFF) Importante A Petrobras não é responsável

Leia mais

Introdução aos Bancos de Dados Não-Relacionais. Mauricio De Diana (mestrando) Marco Aurélio Gerosa (orientador)

Introdução aos Bancos de Dados Não-Relacionais. Mauricio De Diana (mestrando) Marco Aurélio Gerosa (orientador) Introdução aos Bancos de Dados Não-Relacionais Mauricio De Diana (mestrando) Marco Aurélio Gerosa (orientador) Conteúdo Histórico de BDs não-relacionais na Web 4 Categorias de bancos NoSQL Exemplos de

Leia mais

Componentes internos de Um SGBD

Componentes internos de Um SGBD Arquitetura SBGD Gerenciamento de Processos joao@uefs.br Departamento de Ciências Exatas Universidade Estadual de Feira de Santana e sistemas paralelos 1 e sistemas paralelos Componentes internos de Um

Leia mais

Engenharia de software 2011A. Trabalho sobre

Engenharia de software 2011A. Trabalho sobre Engenharia de software 2011A Trabalho sobre NOSQL Not only SQL NoSQL Not only SQL GRUPO - 9 Cléverton Heming Jardel Palagi Jonatam Gebing Marcos Wassem NOSQL O Termo NoSQL, foi utilizado pela primeira

Leia mais

Pollyanna Gonçalves. Seminário da disciplina Banco de Dados II

Pollyanna Gonçalves. Seminário da disciplina Banco de Dados II Pollyanna Gonçalves Seminário da disciplina Banco de Dados II Web 2.0 vem gerando grande volume de dados Conteúdo gerado por redes sociais, sensores inteligentes, tecnologias de colaboração, etc. Novas

Leia mais

ESTUDO SOBRE A TECNOLOGIA DE BANCO DE DADOS NoSQL

ESTUDO SOBRE A TECNOLOGIA DE BANCO DE DADOS NoSQL ESTUDO SOBRE A TECNOLOGIA DE BANCO DE DADOS NoSQL Autores: Nicolas Ignácio RYBERG 1,2 ;; Angelo Augusto FROZZA 3 Identificação autores: 1 Bolsista PIBIC-EM/CNPq;; 2 Aluno do curso Técnico em Informática

Leia mais

Prof. Daniela Barreiro Claro

Prof. Daniela Barreiro Claro Prof. Daniela Barreiro Claro Volume de dados muito grande Principais problemas em relação aos SGBD Relacionais é conciliar o tipo de modelo com a demanda da escalabilidade. Exemplo -Facebook Um crescimento

Leia mais

Introdução à Banco de Dados. Nathalia Sautchuk Patrício

Introdução à Banco de Dados. Nathalia Sautchuk Patrício Introdução à Banco de Dados Nathalia Sautchuk Patrício Histórico Início da computação: dados guardados em arquivos de texto Problemas nesse modelo: redundância não-controlada de dados aplicações devem

Leia mais

Interoperabilidade entre Bancos de Dados Relacionais e Bancos de Dados NoSQL

Interoperabilidade entre Bancos de Dados Relacionais e Bancos de Dados NoSQL Minicurso: Interoperabilidade entre Bancos de Dados Relacionais e Bancos de Dados NoSQL Geomar A. Schreiner Ronaldo S. Mello Departamento de Informática e Estatística (INE) Programa de Pós-Graduação em

Leia mais

HadoopDB. Edson Ie Serviço Federal de Processamento de Dados - SERPRO

HadoopDB. Edson Ie Serviço Federal de Processamento de Dados - SERPRO HadoopDB Edson Ie Serviço Federal de Processamento de Dados - SERPRO Motivação Grandes massas de dados precisam ser processadas em clusters: 1 nó: 100TB@59MB/s = 23 dias Cluster com 1000 nós 33 min!!!

Leia mais

23/05/12. Computação em Nuvem. Computação em nuvem: gerenciamento de dados. Computação em Nuvem - Características principais

23/05/12. Computação em Nuvem. Computação em nuvem: gerenciamento de dados. Computação em Nuvem - Características principais Computação em Nuvem Computação em nuvem: gerenciamento de dados Computação em nuvem (Cloud Computing) é uma tendência recente de tecnologia cujo objetivo é proporcionar serviços de Tecnologia da Informação

Leia mais

Big Data Definição, Desafios e Análise de dados Seminário da disciplina IN940 - Banco de Dados

Big Data Definição, Desafios e Análise de dados Seminário da disciplina IN940 - Banco de Dados Big Data Definição, Desafios e Análise de dados Seminário da disciplina IN940 - Banco de Dados Aluno: Victor Santos Professor: Ana Carolina Fernando Fonseca AGENDA 1 - O que é Big Data? 2 - Impactos do

Leia mais

Big Data e Análise de Dados: Tendências e Aplicações em Projetos. Marcus Borba. Apresentação

Big Data e Análise de Dados: Tendências e Aplicações em Projetos. Marcus Borba. Apresentação Big Data e Análise de Dados: Tendências e Aplicações em Projetos Marcus Borba 1 Apresentação Marcus Borba CTO - Spark Strategic Business Solution. 30 anos de experiência em tecnologia da informação.. 14

Leia mais

NoSQL: Vantagens, Desvantagens e Compromissos. Mauricio De Diana (mestrando) Marco Aurélio Gerosa (orientador)

NoSQL: Vantagens, Desvantagens e Compromissos. Mauricio De Diana (mestrando) Marco Aurélio Gerosa (orientador) NoSQL: Vantagens, Desvantagens e Compromissos Mauricio De Diana (mestrando) Marco Aurélio Gerosa (orientador) Agenda Definição de NoSQL Atributos de qualidade e trocas Modelo de dados Escalabilidade Transações

Leia mais

Uma Breve Introdução. Andréa Bordin

Uma Breve Introdução. Andréa Bordin Uma Breve Introdução Andréa Bordin O que significa? NoSQL é um termo genérico que define bancos de dados não-relacionais. A tecnologia NoSQL foi iniciada por companhias líderes da Internet - incluindo

Leia mais

Por que? A WEB está substituindo o desktop Google Gmail, Google Docs, Amazon, Flickr, Facebook, Twitter, YouTube Mudança de Paradigma:

Por que? A WEB está substituindo o desktop Google Gmail, Google Docs, Amazon, Flickr, Facebook, Twitter, YouTube Mudança de Paradigma: Por que? A WEB está substituindo o desktop Google Gmail, Google Docs, Amazon, Flickr, Facebook, Twitter, YouTube Mudança de Paradigma: Amazon Web Services Windows Azure Platform Google App Engine Evolução

Leia mais

Banco de Dados. Otimização de consultas. Prof. Joao Eduardo Ferreira Prof. Osvaldo Kotaro Takai. Última atualização: 15 de maio de 2006

Banco de Dados. Otimização de consultas. Prof. Joao Eduardo Ferreira Prof. Osvaldo Kotaro Takai. Última atualização: 15 de maio de 2006 Banco de Dados Otimização de consultas Última atualização: 15 de maio de 2006 Prof. Joao Eduardo Ferreira Prof. Osvaldo Kotaro Takai Introdução Consulta em linguagem de alto nível Análise e validação Forma

Leia mais

São Paulo. Maio/2015

São Paulo. Maio/2015 São Paulo Maio/2015 Padrões de Arquitetura para Big Data Hélio Silva Sr. Big Data Analytics Consultant Professional Services AWS Summit São Paulo Maio/2015 Henrique Souza Especialista de Cloud e Big Data

Leia mais

BIG DATA: UTILIZANDO A INTERNET PARA TOMADA DE DECISÕES

BIG DATA: UTILIZANDO A INTERNET PARA TOMADA DE DECISÕES BIG DATA: UTILIZANDO A INTERNET PARA TOMADA DE DECISÕES Alex Travagin Chatalov¹, Ricardo Ribeiro Rufino ¹ ¹Universidade Paranaense (Unipar) Paranavaí PR Brasil alex_tr1992@hotmail.com ricardo@unipar.br

Leia mais

Prof. Daniela Barreiro Claro

Prof. Daniela Barreiro Claro Prof. Daniela Barreiro Claro Volume de dados muito grande Principais problemas em relacao aos SGBD Relacionais é conciliar o tipo de modelo com a demanda da escalabilidade. Exemplo -Facebook Um crescimento

Leia mais

MAC5855 - NoSQL. Mauricio De Diana mdediana@ime.usp.br @mdediana

MAC5855 - NoSQL. Mauricio De Diana mdediana@ime.usp.br @mdediana MAC5855 - NoSQL Mauricio De Diana mdediana@ime.usp.br @mdediana Web 2.0 Data is the Next Intel Inside Inteligência Coletiva Grande volume de dados Escala global (Internet scale services) Web 2.0 Alto grau

Leia mais

Introdução a Informática. Prof.: Roberto Franciscatto

Introdução a Informática. Prof.: Roberto Franciscatto Introdução a Informática Prof.: Roberto Franciscatto 6.1 ARQUIVOS E REGISTROS De um modo geral os dados estão organizados em arquivos. Define-se arquivo como um conjunto de informações referentes aos elementos

Leia mais

MBA Analytics em Big Data

MBA Analytics em Big Data MBA Analytics em Big Data Inscrições Abertas Início das Aulas: 04/06/2015 Dias e horários das aulas: Segunda-Feira 19h00 às 23h00 Semanal Sexta-Feira 19h00 às 23h00 Semanal Carga horária: 600 Horas Duração:

Leia mais

Banco de Dados Oracle 10g: Introdução à Linguagem SQL

Banco de Dados Oracle 10g: Introdução à Linguagem SQL Oracle University Entre em contato: 0800 891 6502 Banco de Dados Oracle 10g: Introdução à Linguagem SQL Duração: 5 Dias Objetivos do Curso Esta classe se aplica aos usuários do Banco de Dados Oracle8i,

Leia mais

http://blogging.avnet.com/weblog/cioinsights/tag/big-data/ Storm Processamento e análise real time para Big Data 7/24/12 Fabio Velloso

http://blogging.avnet.com/weblog/cioinsights/tag/big-data/ Storm Processamento e análise real time para Big Data 7/24/12 Fabio Velloso http://blogging.avnet.com/weblog/cioinsights/tag/big-data/ Storm Processamento e análise real time para Big Data Fabio Velloso Fabio Velloso Bio Bacharel em Ciência da Computação - UFSCar MBA FGV Desenvolvedor

Leia mais

SQL Structured Query Language

SQL Structured Query Language Janai Maciel SQL Structured Query Language (Banco de Dados) Conceitos de Linguagens de Programação 2013.2 Structured Query Language ( Linguagem de Consulta Estruturada ) Conceito: É a linguagem de pesquisa

Leia mais

Processando Big Data com Java: Receitas para resolver problemas comuns. Fabiane Bizinella Nardon (@fabianenardon)

Processando Big Data com Java: Receitas para resolver problemas comuns. Fabiane Bizinella Nardon (@fabianenardon) Processando Big Data com Java: Receitas para resolver problemas comuns Fabiane Bizinella Nardon (@fabianenardon) The best minds of my genera3on are thinking about how to make people click ads. That sucks.

Leia mais

SQL Linguagem de Manipulação de Dados. Banco de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri

SQL Linguagem de Manipulação de Dados. Banco de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri SQL Linguagem de Manipulação de Dados Banco de Dados SQL DML SELECT... FROM... WHERE... lista atributos de uma ou mais tabelas de acordo com alguma condição INSERT INTO... insere dados em uma tabela DELETE

Leia mais

Universidade Federal de Goiás Ciências da Computação Sistemas Operacionais 2

Universidade Federal de Goiás Ciências da Computação Sistemas Operacionais 2 Universidade Federal de Goiás Ciências da Computação Sistemas Operacionais 2 MongoDB Diego Fraga - 083746 Gabriel Henrique - 083771 Lauro Henrique - 074259 O que é MongoDB? - MongoDB é uma ferramenta de

Leia mais

PHP INTEGRAÇÃO COM MYSQL PARTE 1

PHP INTEGRAÇÃO COM MYSQL PARTE 1 INTRODUÇÃO PHP INTEGRAÇÃO COM MYSQL PARTE 1 Leonardo Pereira leonardo@estudandoti.com.br Facebook: leongamerti http://www.estudandoti.com.br Informações que precisam ser manipuladas com mais segurança

Leia mais

Bancos de Dados NoSQL x SGBDs Relacionais:Análise Comparativa*

Bancos de Dados NoSQL x SGBDs Relacionais:Análise Comparativa* Bancos de Dados NoSQL x SGBDs Relacionais:Análise Comparativa* Ricardo W. Brito, Faculdade Farias Brito e Universidade de Fortaleza, ricardow@ffb.edu.br Resumo O Modelo Relacional tem sido amplamente utilizado

Leia mais

COMPETÊNCIAS ESPECÍFICAS Compreender e utilizar a linguagem SQL, na construção e manutenção de uma base de dados.

COMPETÊNCIAS ESPECÍFICAS Compreender e utilizar a linguagem SQL, na construção e manutenção de uma base de dados. PLANIFICAÇÃO DA DISCIPLINA DE SISTEMAS DE INFORMAÇÃO 12.ºH CURSO PROFISSIONAL DE TÉCNICO MULTIMÉDIA ANO LECTIVO 2013/2014 6. LINGUAGENS DE PROGRAMAÇÃO IV Pré-requisitos: - Planificar e estruturar bases

Leia mais

Comandos de Manipulação

Comandos de Manipulação SQL - Avançado Inserção de dados; Atualização de dados; Remoção de dados; Projeção; Seleção; Junções; Operadores: aritméticos, de comparação,de agregação e lógicos; Outros comandos relacionados. SQL SQL

Leia mais

Gerência de Banco de Dados

Gerência de Banco de Dados exatasfepi.com.br Gerência de Banco de Dados Prof. Msc. André Luís Duarte Banco de Dados Os bancos de dados são coleções de informações que se relacionam para criar um significado dentro de um contexto

Leia mais

MARCELO NAGY CICLO DE PALESTRAS EM TI

MARCELO NAGY CICLO DE PALESTRAS EM TI BIG DATA NA PRÁTICA MARCELO NAGY CICLO DE PALESTRAS EM TI Marcelo Nagy Formação Tecnologias Big Data A era das grandes massas de dados já começou. Usuários são agora fontes de dados. Empresas armazenam

Leia mais

A Nova Interface do Data Discovery no MicroStrategy 10. Anderson Santos, Sales Engineer Brazil 11/08/2015

A Nova Interface do Data Discovery no MicroStrategy 10. Anderson Santos, Sales Engineer Brazil 11/08/2015 A Nova Interface do Data Discovery no MicroStrategy 10 Anderson Santos, Sales Engineer Brazil 11/08/2015 Empresas participantes do MicroStrategy 10 Beta Test Pela primeira vez na história, MicroStrategy

Leia mais

Processamento e Otimização de Consultas

Processamento e Otimização de Consultas Introdução Processamento e Banco de Dados II Prof. Guilherme Tavares de Assis Universidade Federal de Ouro Preto UFOP Instituto de Ciências Exatas e Biológicas ICEB Departamento de Computação DECOM 1 Processamento

Leia mais

NoSQL - 2014. Edward Ribeiro

NoSQL - 2014. Edward Ribeiro NoSQL - 2014 Edward Ribeiro Edward Pesquisador independente (UnB) Professor Universitário Analista de Sistemas (Senado) Contribuidor de software livre Agenda 1. Motivação 2. Definição 3. Descrição a. Modelos

Leia mais

NoSQL: onde, como e por quê? Rodrigo Hjort rodrigo@hjort.co

NoSQL: onde, como e por quê? Rodrigo Hjort rodrigo@hjort.co NoSQL: onde, como e por quê? Rodrigo Hjort rodrigo@hjort.co Quem aqui usa banco de dados? Por que precisamos de SQL? Onde usamos SQL (i.e. ACID)? MAS... Universo digital em expansão Fonte: IDC White Paper,

Leia mais

Gerenciamento de um Sistema de

Gerenciamento de um Sistema de SBD Gerenciamento de um Sistema de Banco de Dados Prof. Michel Nobre Muza ua michel.muza@ifsc.edu.br Prof. Marcos Antonio Viana Nascimento Por que é importante: Motivação Participar na organização e no

Leia mais

Banco de Dados. Maurício Edgar Stivanello

Banco de Dados. Maurício Edgar Stivanello Banco de Dados Maurício Edgar Stivanello Agenda Conceitos Básicos SGBD Projeto de Banco de Dados SQL Ferramentas Exemplo Dado e Informação Dado Fato do mundo real que está registrado e possui um significado

Leia mais

Laboratório do Framework Hadoop em Plataformas de Cloud e. Cluster Computing

Laboratório do Framework Hadoop em Plataformas de Cloud e. Cluster Computing Laboratório do Framework Hadoop em Plataformas de Cloud e Framework Hadoop em Plataformas de Cluster Computing Cloud Computing Eng. André Luiz Tibola. Mst. Raffael Bottoli Schemmer Prof. Dr. Cláudio Fernando

Leia mais

Programação com Acesso a Banco de Dados

Programação com Acesso a Banco de Dados Campus Ipanguaçu Curso: Técnico em Informática Programação com Acesso a Banco de Dados AULA 17 ACESSO A BANCO DE DADOS COM JDBC PROF.: CLAYTON M. COSTA 2 011.2 Introdução Aplicação + Banco de Dados: Funcionalidade

Leia mais

Transações Seguras em Bancos de Dados (MySQL)

Transações Seguras em Bancos de Dados (MySQL) Transações Seguras em Bancos de Dados (MySQL) Índice Entendendo os storage engines do MySQL 5 1 As ferramentas 1 Mais algumas coisas que você deve saber 1 Com a mão na massa 2 Mais ferramentas Usando o

Leia mais

NoSQL. Seminário da disciplina de Banco de Dados 2015.1. Aluno: Rodrigo Barbosa Folha. IN940 Recife-PE Julho de 2015

NoSQL. Seminário da disciplina de Banco de Dados 2015.1. Aluno: Rodrigo Barbosa Folha. IN940 Recife-PE Julho de 2015 No-SQL Seminário da disciplina de Banco de Dados 2015.1 Aluno: Rodrigo Barbosa Folha NoSQL CIn.ufpe.br IN940 Recife-PE Julho de 2015 Agenda História Evolução NoSQL Conceitos básicos Desafios e dúvidas

Leia mais

Introdução a Banco de Dados

Introdução a Banco de Dados Introdução a Banco de Dados O modelo relacional Marta Mattoso Sumário Introdução Motivação Serviços de um SGBD O Modelo Relacional As aplicações não convencionais O Modelo Orientado a Objetos Considerações

Leia mais

CHECKLIST PARA AUXILIAR NA DEFINIÇÃO DA ARQUITETURA DE BANCO DE DADOS

CHECKLIST PARA AUXILIAR NA DEFINIÇÃO DA ARQUITETURA DE BANCO DE DADOS CHECKLIST PARA AUXILIAR NA DEFINIÇÃO DA ARQUITETURA DE BANCO DE DADOS Tiago Vanderlinde, Osmar Oliveira Braz Junior Universidade do Estado de Santa Catarina - UDESC tiago.vanderlinde@gmail.com, osmar.oliveira.braz@gmail.com

Leia mais

AULA 2 INTERAÇÃO COM O BANCO DE DADOS

AULA 2 INTERAÇÃO COM O BANCO DE DADOS AULA 2 INTERAÇÃO COM O BANCO DE DADOS BANCO DE DADOS POSTGRESQL O PostgreSQL é um sistema gerenciador de banco de dados dos mais robustos e avançados do mundo. Seu código é aberto e é totalmente gratuito,

Leia mais

BANCO DE DADOS CONCEITOS BÁSICOS

BANCO DE DADOS CONCEITOS BÁSICOS Universidade Federal da Paraíba UFPB Centro de Energias Alternativas e Renováveis - CEAR Departamento de Eng. Elétrica DEE BANCO DE DADOS CONCEITOS BÁSICOS Isaac Maia Pessoa Introdução O que é um BD? Operações

Leia mais

Hadoop - HDFS. Universidade Federal de Goiás Ciência da Computação

Hadoop - HDFS. Universidade Federal de Goiás Ciência da Computação Hadoop - HDFS Universidade Federal de Goiás Ciência da Computação O que é Hadoop? Um framework para lidar com aplicações distribuídas que fazem uso massivo de dados Originalmente construído para a distribuição

Leia mais

Utilização da Classe de Banco de Dados NOSQL como Solução para Manipulação de Diversas Estruturas de Dados

Utilização da Classe de Banco de Dados NOSQL como Solução para Manipulação de Diversas Estruturas de Dados Utilização da Classe de Banco de Dados NOSQL como Solução para Manipulação de Diversas Estruturas de Dados Ricardo Cardoso de Almeida 1, Parcilene Fernandes de Brito 1 1 Curso de Sistemas de Informação

Leia mais

TRANSAÇÕES. Considerando que estes comandos fazem parte de uma TRANSAÇÃO (veremos como indicar isso):

TRANSAÇÕES. Considerando que estes comandos fazem parte de uma TRANSAÇÃO (veremos como indicar isso): TRANSAÇÕES 1. Visão Geral Uma transação é uma unidade lógica de trabalho (processamento) formada por um conjunto de comandos SQL cujo objetivo é preservar a integridade e a consistência dos dados. Ao final

Leia mais

NoSQL. Arthur Azevedo Rafael Benedito

NoSQL. Arthur Azevedo Rafael Benedito NoSQL Arthur Azevedo Rafael Benedito Aviso! O que você vai ver/aprender nessa apresentação: Conceitos de banco de dados NoSQL; Taxonomia de banco de dados NoSQL; Conceitos de Banco de Dados distribuídos;

Leia mais

Banco de Dados, Integração e Qualidade de Dados. Ceça Moraes cecafac@gmail.com

Banco de Dados, Integração e Qualidade de Dados. Ceça Moraes cecafac@gmail.com Banco de Dados, Integração e Qualidade de Dados Ceça Moraes cecafac@gmail.com Sobre a professora CeçaMoraes Doutora em Computação (UFPE) Áreas de atuação Desenvolvimento de Software e Banco de Dados Experiência

Leia mais

Formação em Banco de Dados

Formação em Banco de Dados Formação em Banco de Dados Sobre a KTEC A KTEC Escola de Tecnologia oferece uma série de cursos, para os que procuram uma base sólida no aprendizado, com foco nas boas práticas que fazem a diferença no

Leia mais

Banco de Dados I 2007. Módulo V: Indexação em Banco de Dados. (Aulas 4) Clodis Boscarioli

Banco de Dados I 2007. Módulo V: Indexação em Banco de Dados. (Aulas 4) Clodis Boscarioli Banco de Dados I 2007 Módulo V: Indexação em Banco de Dados (Aulas 4) Clodis Boscarioli Agenda: Indexação em SQL; Vantagens e Custo dos Índices; Indexação no PostgreSQL; Dicas Práticas. Índice em SQL Sintaxe:

Leia mais

Linguagem de Consulta Estruturada SQL- DML

Linguagem de Consulta Estruturada SQL- DML Linguagem de Consulta Estruturada SQL- DML INTRODUÇÃO A SQL - Structured Query Language, foi desenvolvido pela IBM em meados dos anos 70 como uma linguagem de manipulação de dados (DML - Data Manipulation

Leia mais

GUIA RÁPIDO DE UTILIZAÇÃO DO APLICATIVO RDB2LOD

GUIA RÁPIDO DE UTILIZAÇÃO DO APLICATIVO RDB2LOD GUIA RÁPIDO DE UTILIZAÇÃO DO APLICATIVO RDB2LOD Em sua versão inicial, o aplicativo RDB2LOD foi desenvolvido para instalação e execução em ambiente de máquina virtual Java, e oferece suporte aos SGBDs

Leia mais

Banco de Dados. Aula 1 - Prof. Bruno Moreno 16/08/2011

Banco de Dados. Aula 1 - Prof. Bruno Moreno 16/08/2011 Banco de Dados Aula 1 - Prof. Bruno Moreno 16/08/2011 Roteiro Apresentação do professor e disciplina Definição de Banco de Dados Sistema de BD vs Tradicional Principais características de BD Natureza autodescritiva

Leia mais

E N AT O M O L I N A T O T H

E N AT O M O L I N A T O T H no:sql Not only SQL Renato Molina Toth ww.renatomolina.in R E N AT O M O L I N A T O T H O que é? O que é? Não é uma nova tecnologia, é uma nova abordagem Propõe um modelo alternativo de banco de dados

Leia mais

Cloud Compu)ng Bancos de dados distribuídos e móveis

Cloud Compu)ng Bancos de dados distribuídos e móveis Cloud Compu)ng Bancos de dados distribuídos e móveis Rafael Barbosa Gonçalves (rbg2) Sérgio Barza (sb) Roteiro Introdução O que é Cloud Compu:ng? Tipos de serviços oferecidos Privacidade na Cloud Arquitetura

Leia mais

Banco de Dados. Conceitos e Arquitetura de Sistemas de Banco de Dados. Profa. Flávia Cristina Bernardini

Banco de Dados. Conceitos e Arquitetura de Sistemas de Banco de Dados. Profa. Flávia Cristina Bernardini Banco de Dados Conceitos e Arquitetura de Sistemas de Banco de Dados Profa. Flávia Cristina Bernardini Relembrando... Vantagens da Utilização de SGBD Redundância controlada Consistência dos dados armazenados

Leia mais

Structured Query Language (SQL)

Structured Query Language (SQL) SQL Histórico Structured Query Language (SQL) Foi desenvolvido pela IBM em meados dos anos 70 como uma linguagem de manipulação de dados (DML - Data Manipulation Language) para suas primeiras tentativas

Leia mais

DESENVOLVIMENTO DE UMA FERRAMENTA DE COLETA E ARMAZENAMENTO DE DADOS DISPONÍVEIS EM REDES SOCIAIS

DESENVOLVIMENTO DE UMA FERRAMENTA DE COLETA E ARMAZENAMENTO DE DADOS DISPONÍVEIS EM REDES SOCIAIS DESENVOLVIMENTO DE UMA FERRAMENTA DE COLETA E ARMAZENAMENTO DE DADOS DISPONÍVEIS EM REDES SOCIAIS Bruno Edgar Führ, Evandro Franzen 1 Resumo: O crescimento da internet na última década fez dela a maior

Leia mais

NoSQL: UMA RELAÇÃO, NÃO RELACIONAL *

NoSQL: UMA RELAÇÃO, NÃO RELACIONAL * NoSQL: UMA RELAÇÃO, NÃO RELACIONAL * Fabio Machado de Oliveira Universidade Estadual do Norte Fluminense Saymon Pires da Silva Centro Universitário São Camilo/ES Carlos Henrique Medeiros de Souza Universidade

Leia mais

INSTITUTO SUPERIOR TÉCNICO Administração e Optimização de Bases de Dados

INSTITUTO SUPERIOR TÉCNICO Administração e Optimização de Bases de Dados Número: Nome: 1 -------------------------------------------------------------------------------------------------------------- INSTITUTO SUPERIOR TÉCNICO Administração e Optimização de Bases de Dados Exame

Leia mais

PROVA ESPECÍFICA Cargo 04

PROVA ESPECÍFICA Cargo 04 10 PROVA ESPECÍFICA Cargo 04 QUESTÃO 21 Analise as seguintes afirmativas: I. Uma das funções de um DBA é gerenciar os mecanismos de segurança de acesso aos dados armazenados em um SGBD (Sistema Gerenciador

Leia mais

CENTRO UNIVERSITÁRIO UNA DIRETORIA DE EDUCAÇÃO CONTINUADA, PESQUISA E EXTENSÃO CURSO DE PÓS GRADUAÇÃO ENGENHARIA DE SOFTWARE

CENTRO UNIVERSITÁRIO UNA DIRETORIA DE EDUCAÇÃO CONTINUADA, PESQUISA E EXTENSÃO CURSO DE PÓS GRADUAÇÃO ENGENHARIA DE SOFTWARE CENTRO UNIVERSITÁRIO UNA DIRETORIA DE EDUCAÇÃO CONTINUADA, PESQUISA E EXTENSÃO CURSO DE PÓS GRADUAÇÃO ENGENHARIA DE SOFTWARE NoSQL Banco de Dados Não Relacional ALUNO: Heitor Oliveira Silva PROFESSOR ORIENTADOR:

Leia mais

Banco de Dados. Um momento crucial na organização dos dados é a forma com que cadastramos estes dados, a estrutura de armazenamento que criamos.

Banco de Dados. Um momento crucial na organização dos dados é a forma com que cadastramos estes dados, a estrutura de armazenamento que criamos. Banco de Dados O que é um Banco de Dados? Este assunto é muito vasto, tentaremos resumi-lo para atender as questões encontradas em concursos públicos. Já conhecemos o conceito de dado, ou seja, uma informação

Leia mais

Banco de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri. Banco de Dados Processamento e Otimização de Consultas

Banco de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri. Banco de Dados Processamento e Otimização de Consultas Processamento e Otimização de Consultas Banco de Dados Motivação Consulta pode ter sua resposta computada por uma variedade de métodos (geralmente) Usuário (programador) sugere uma estratégia para achar

Leia mais

Faculdade Pitágoras. Curso Superior de Tecnologia: Banco de Dados. Disciplina: Banco de Dados Prof.: Fernando Hadad Zaidan SQL

Faculdade Pitágoras. Curso Superior de Tecnologia: Banco de Dados. Disciplina: Banco de Dados Prof.: Fernando Hadad Zaidan SQL Faculdade Pitágoras Curso Superior de Tecnologia: Banco de Dados Disciplina: Banco de Dados Prof.: Fernando Hadad Zaidan SQL A linguagem SQL é responsável por garantir um bom nível de independência do

Leia mais

Faculdade Pitágoras 16/08/2011. Curso Superior de Tecnologia: Banco de Dados Sistemas para Internet

Faculdade Pitágoras 16/08/2011. Curso Superior de Tecnologia: Banco de Dados Sistemas para Internet Faculdade Pitágoras Curso Superior de Tecnologia: Banco de Dados Sistemas para Internet Disciplina: Banco de Dados Prof.: Fernando Hadad Zaidan SQL A linguagem SQL é responsável por garantir um bom nível

Leia mais

Alta performance no processamento de Big Data com Spark e Lambda Expressions. Claudio Seidi @claudio_seidi Fabio Velloso @fabiovelloso

Alta performance no processamento de Big Data com Spark e Lambda Expressions. Claudio Seidi @claudio_seidi Fabio Velloso @fabiovelloso Alta performance no processamento de Big Data com Spark e Lambda Expressions Claudio Seidi @claudio_seidi Fabio Velloso @fabiovelloso Cláudio Seidi Bacharel em Ciência da Computação - IME/USP Java desde

Leia mais

BANCO DE DADOS DISTRIBUÍDOS e DATAWAREHOUSING

BANCO DE DADOS DISTRIBUÍDOS e DATAWAREHOUSING BANCO DE DADOS DISTRIBUÍDOS e DATAWAREHOUSING http://www.uniriotec.br/~tanaka/tin0036 tanaka@uniriotec.br Bancos de Dados Distribuídos Processamento de Consultas Ambiente com SGBD Distribuído Processamento

Leia mais

Big Data & IoT. Eduardo Ogasawara eogasawara@ieee.org. h1p://eic.cefet-rj.br/~eogasawara

Big Data & IoT. Eduardo Ogasawara eogasawara@ieee.org. h1p://eic.cefet-rj.br/~eogasawara Centro Federal de Educação Tecnológica Celso Suckow da Fonseca CEFET/RJ Big Data & IoT Eduardo Ogasawara eogasawara@ieee.org h1p://eic.cefet-rj.br/~eogasawara Data Deluge 2 A Era do Big Data Aumento crescente

Leia mais

Formação em Banco de Dados. Subtítulo

Formação em Banco de Dados. Subtítulo Formação em Banco de Dados Subtítulo Sobre a APTECH A Aptech é uma instituição global, modelo em capacitação profissional, que dispõe de diversos cursos com objetivo de preparar seus alunos para carreiras

Leia mais

Processamento de Consultas

Processamento de Consultas Processamento de Consultas Banco de Dados: Teoria e Prática André Santanchè e Luiz Celso Gomes Jr Instituto de Computação UNICAMP Setembro 2013 Picture by http://www.flickr.com/photos/fdecomite/1457493536/

Leia mais

FAPLAN - Faculdade Anhanguera Passo Fundo Gestão da Tecnologia da Informação Banco de Dados II Prof. Eder Pazinatto Stored Procedures Procedimento armazenados dentro do banco de dados Um Stored Procedure

Leia mais

Bases de Dados Relacional/Objeto e NoSQL. Cristina C. Vieira Departamento de Engenharia Eletrónica e Informática

Bases de Dados Relacional/Objeto e NoSQL. Cristina C. Vieira Departamento de Engenharia Eletrónica e Informática Bases de Dados Relacional/Objeto e NoSQL Cristina C. Vieira Departamento de Engenharia Eletrónica e Informática SGBDs Principais tarefas Gerir grandes volumes de dados Suportar acessos eficientes Garantir

Leia mais

ORACLE 11 G INTRODUÇÃO AO ORACLE, SQL,PL/SQL. Carga horária: 32 Horas

ORACLE 11 G INTRODUÇÃO AO ORACLE, SQL,PL/SQL. Carga horária: 32 Horas ORACLE 11 G INTRODUÇÃO AO ORACLE, SQL,PL/SQL Carga horária: 32 Horas Pré-requisito: Para que os alunos possam aproveitar este treinamento ao máximo, é importante que eles tenham participado dos treinamentos

Leia mais

UFCD 787. Administração de base de dados. Elsa Marisa S. Almeida

UFCD 787. Administração de base de dados. Elsa Marisa S. Almeida UFCD 787 Administração de base de dados Elsa Marisa S. Almeida 1 Objectivos Replicação de base de dados Gestão de transacções Cópias de segurança Importação e exportação de dados Elsa Marisa S. Almeida

Leia mais

Escalabilidade, as modas e (No)SQL. Fernando Ike

Escalabilidade, as modas e (No)SQL. Fernando Ike Escalabilidade, as modas e (No)SQL Fernando Ike SQL SQL Por que? Bala de Prata Bala de Prata + de 20 anos como A solução ORM (Object-relational mapping) Transação Chave Composta Chave Estrangeira Porto

Leia mais

Álgebra Relacional. Conjunto de operações que usa uma ou duas relações como entrada e gera uma relação de saída. Operações básicas:

Álgebra Relacional. Conjunto de operações que usa uma ou duas relações como entrada e gera uma relação de saída. Operações básicas: Álgebra Relacional Conjunto de operações que usa uma ou duas relações como entrada e gera uma relação de saída operação (REL 1 ) REL 2 operação (REL 1,REL 2 ) REL 3 Operações básicas: seleção projeção

Leia mais

SQL é uma linguagem de consulta que implementa as operações da álgebra relacional de forma bem amigável.

SQL é uma linguagem de consulta que implementa as operações da álgebra relacional de forma bem amigável. SQL (Structured Query Language) SQL é uma linguagem de consulta que implementa as operações da álgebra relacional de forma bem amigável. Além de permitir a realização de consultas, SQL possibilita: definição

Leia mais

MC714A - 2º Semestre 2015. Nomes: Roberto Hayasida Mariane Previde Cibelle Begalli

MC714A - 2º Semestre 2015. Nomes: Roberto Hayasida Mariane Previde Cibelle Begalli MC714A - 2º Semestre 2015 Nomes: Roberto Hayasida Mariane Previde Cibelle Begalli RAs:103984 121192 135334 Facebook Introdução Os 4 grandes tipos de sistemas de armazenamento utilizados no Facebook: OLTP

Leia mais

INTRODUÇÃO. No entanto, o que pode ser considerado um produto (resultado) da criação de BDs?

INTRODUÇÃO. No entanto, o que pode ser considerado um produto (resultado) da criação de BDs? BANCO DE DADOS Universidade do Estado de Santa Catarina Centro de Ciências Tecnológicas Departamento de Ciência da Computação Prof. Alexandre Veloso de Matos alexandre.matos@udesc.br INTRODUÇÃO Um Banco

Leia mais

Dicas de Projeto Lógico Relacional

Dicas de Projeto Lógico Relacional Dicas de Projeto Lógico Relacional O que deve ser especificado? mapeamento do esquema conceitual definição das tabelas e chaves justificativas de mapeamento (se necessário) restrições de integridade (RIs)

Leia mais

Inteligência de Negócio. Brian Cowhig

Inteligência de Negócio. Brian Cowhig Inteligência de Negócio Brian Cowhig Inteligência de Negócio O Que é Inteligência de Negócio? Três Níveis de Inteligência de Negócio Database Query OLAP Data Mining Produtos de Inteligência de Negócio

Leia mais

LINGUAGEM SQL. DML - Linguagem de Manipulação de Dados

LINGUAGEM SQL. DML - Linguagem de Manipulação de Dados LINGUAGEM SQL Structured Query Language, ou Linguagem de Consulta Estruturada ou SQL, é uma linguagem de pesquisa declarativa para banco de dados relacional (base de dados relacional). Muitas das características

Leia mais

Capítulo 1 - A revolução dos dados, da informação e do conhecimento 1 B12 4

Capítulo 1 - A revolução dos dados, da informação e do conhecimento 1 B12 4 Sumário Capítulo 1 - A revolução dos dados, da informação e do conhecimento 1 B12 4 Capítulo 2 - Reputação corporativa e uma nova ordem empresarial 7 Inovação e virtualidade 9 Coopetição 10 Modelos plurais

Leia mais

PLANO DE ENSINO. PRÉ-REQUISITO: Modelagem e Programação Orientada a Objetos. PROFESSOR RESPONSÁVEL : Josino Rodrigues Neto

PLANO DE ENSINO. PRÉ-REQUISITO: Modelagem e Programação Orientada a Objetos. PROFESSOR RESPONSÁVEL : Josino Rodrigues Neto UNIVERSIDADE FEDERAL RURAL DE PERNAMBUCO PRÓ-REITORIA DE ENSINO DE GRADUAÇÃO Rua Dom Manoel de Medeiros, s/n Dois Irmãos 52171-900 Recife-PE Fone: 0xx-81-332060-40 proreitor@preg.ufrpe.br PLANO DE ENSINO

Leia mais

Acesso a Bancos de Dados (JDBC) Autor: Cleyton Maciel (clayton.maciel@ifrn.edu.br) Adaptação: Pedro Baesse (pedro.baesse@ifrn.edu.

Acesso a Bancos de Dados (JDBC) Autor: Cleyton Maciel (clayton.maciel@ifrn.edu.br) Adaptação: Pedro Baesse (pedro.baesse@ifrn.edu. Acesso a Bancos de Dados (JDBC) Autor: Cleyton Maciel (clayton.maciel@ifrn.edu.br) Adaptação: Pedro Baesse (pedro.baesse@ifrn.edu.br) JDBC Conceito Tipos Transações Tipos SQL e JAVA Conexão JDBC Implementação

Leia mais

Prova de Fundamentos de Bancos de Dados 2 a Prova

Prova de Fundamentos de Bancos de Dados 2 a Prova Prova de Fundamentos de Bancos de Dados 2 a Prova Prof. Carlos A. Heuser Novembro de 2007 Prova com consulta duas horas de duração 1 Base de dados para as questões (Esta é a mesma base de dados que foi

Leia mais

Arquiteturas escaláveis utilizando ferramentas Shared Nothing. Victor Canô

Arquiteturas escaláveis utilizando ferramentas Shared Nothing. Victor Canô Arquiteturas escaláveis utilizando ferramentas Shared Nothing Victor Canô Victor Canô - Founder / CTO @ Cazamba - Founder @ Troz.io /victoracano Conteúdo O que esperamos de uma aplicação? Cloud, benefícios

Leia mais

Histórico de revisões

Histórico de revisões Apostila 3 Histórico de revisões Data Versão Descrição Autor 30/09/2011 1.0 Criação da primeira versão HEngholmJr CONTEÚDO Exclusão de registros Consultas por Dados de Resumo Group by / Having Funções

Leia mais

Sistema de Bancos de Dados. Conceitos Gerais Sistema Gerenciador de Bancos de Dados

Sistema de Bancos de Dados. Conceitos Gerais Sistema Gerenciador de Bancos de Dados Sistema de Bancos de Dados Conceitos Gerais Sistema Gerenciador de Bancos de Dados # Definições # Motivação # Arquitetura Típica # Vantagens # Desvantagens # Evolução # Classes de Usuários 1 Nível 1 Dados

Leia mais

De SGBD a Gerência de Dados

De SGBD a Gerência de Dados De SGBD a Gerência de Dados Carlos A. Heuser ERBD 2012 Curi5ba Pesquisa, ensino e trabalho na área de BD - - Passado, presente e futuro Uma visão pessoal e limitada 2 Obje>vo Tentar responder a perguntas:

Leia mais

Ferramenta para extração de dados semiestruturados para carga de um Big Data

Ferramenta para extração de dados semiestruturados para carga de um Big Data Ferramenta para extração de dados semiestruturados para carga de um Big Data João Carlos Furtado 1 Gabriel Merten Bulsing 1 Eduardo Kroth 1 Elpídio Oscar Benitez Nara 1 Liane Malhmann Kipper 1 Resumo:

Leia mais

Uma Abordagem de Classificação não Supervisionada de Carga de Trabalho MapReduce Utilizando Análise de Log

Uma Abordagem de Classificação não Supervisionada de Carga de Trabalho MapReduce Utilizando Análise de Log paper:37 Uma Abordagem de Classificação não Supervisionada de Carga de Trabalho MapReduce Utilizando Análise de Log Ivan Luiz Picoli¹, Eduardo Cunha de Almeida¹ Nível: Mestrado; Ano de Ingresso: 2013;

Leia mais

Prof. Daniela Barreiro Claro

Prof. Daniela Barreiro Claro Prof. Daniela Barreiro Claro SQL, SQL3 e OQL são linguagens declarativas O SGBD deve processar e otimizar estas consultas antes delas serem efetivamente executadas Uma consulta possui muitas estratégias

Leia mais