Desmis&ficando Tecnologias de Big Data. Victor Teixeira de Almeida Petrobras
|
|
|
- Maria Júlia Beltrão Veiga
- 8 Há anos
- Visualizações:
Transcrição
1 Desmis&ficando Tecnologias de Big Data Victor Teixeira de Almeida Petrobras
2 Importante A Petrobras não é responsável por qualquer informação con9da nesta apresentação. Todas as opiniões aqui emi9das são de inteira e exclusiva responsabilidade do autor. 4/11/2014 Desmis9ficando Tecnologias de Big Data 2
3 Desmis&ficando Tecnologias de Big Data Obje9vo: Este minicurso pretende desmis9ficar o tema big data em termos de tecnologias Ao final deste minicurso, vocês serão capazes de entender as principais diferenças entre as tecnologias existentes e de eventualmente definir a(s) melhor(es) para atacar(em) determinados problemas. 4/11/2014 Desmis9ficando Tecnologias de Big Data 3
4 Big Data De onde surgiram as novas tecnologias 4/11/2014 Desmis9ficando Tecnologias de Big Data 4
5 Tecnologias de big data Escalabilidade horizontal Processamento massivamente paralelo... Shared- nothing 4/11/2014 Desmis9ficando Tecnologias de Big Data 5
6 Tecnologias de Big Data SGBD relacional SGBD relacional orientado a colunas SGBD relacional em memória SGBD MPP NoSQL NewSQL Hadoop Machine Learning Visualização Data Scien9st 4/11/2014 Desmis9ficando Tecnologias de Big Data 6
7 Tecnologias de Big Data SGBD relacional SGBD relacional orientado a colunas SGBD relacional em memória SGBD MPP NoSQL NewSQL Hadoop Machine Learning Visualização Data Scien9st 4/11/2014 Desmis9ficando Tecnologias de Big Data 7
8 SGBD Relacional Álgebra relacional Controle de concorrência e transações (ACID) Linguagem de consulta padrão declara9va (SQL) Índices para facilitar o acesso aos dados Seleção Projeção σ π Renomear ρ Junção Agregação ϒ SQL 4/11/2014 Desmis9ficando Tecnologias de Big Data 8
9 O&mização de consultas (e.g. junções) Ordem R S T Algoritmo R S T R T S Nested loops join Sort- merge join Merge join Hash join... R S R S T 4/11/2014 Desmis9ficando Tecnologias de Big Data 9
10 SGBDs Relacionais 4/11/2014 Desmis9ficando Tecnologias de Big Data 10
11 Tecnologias de Big Data SGBD relacional SGBD relacional orientado a colunas SGBD relacional em memória SGBD MPP NoSQL NewSQL Hadoop Machine Learning Visualização Data Scien9st 4/11/2014 Desmis9ficando Tecnologias de Big Data 11
12 SGBD orientado a colunas orientado a linhas OLTP 1 João da Silva 5/8/ ID NOME DT_NASC TEL 1 João da Silva 5/8/ Manuel Carlos 3/12/ Júlia Almeida 12/1/ Maria José 1/9/ Alberto Jr. 23/2/ Ana Carolina 21/8/ Manuel Carlos 3/12/ Júlia Almeida 12/1/ Maria José 1/9/ OLAP orientado a colunas compressão de dados João da Silva Manuel Carlos Júlia Almeida Maria José Alberto Jr. Ana Carolina 5/8/1986 3/12/ /1/1991 1/9/ /2/ /8/ /11/2014 Desmis9ficando Tecnologias de Big Data 12
13 SGBDs orientados a colunas C- Store 4/11/2014 Desmis9ficando Tecnologias de Big Data 13
14 Tecnologias de Big Data SGBD relacional SGBD relacional orientado a colunas SGBD relacional em memória SGBD MPP NoSQL NewSQL Hadoop Machine Learning Visualização Data Scien9st 4/11/2014 Desmis9ficando Tecnologias de Big Data 14
15 SGBD em memória Gerenciador de transações Operação de E/S Gerenciador de páginas Cache de disco em memória (e.g. LRU) pg_id página (4k, 8k, 16k) ÇLAEUIRQO8WY8098Y Q9U8-9J DÍPOAUSEAUS JP98QW34U50982UR P QPPPPAJ809SGHA98SHG IJAF PSDJFAPS09JP9203J JPONIDFPASD90QW8J A98SJHAF07SHDF0A78S Log de transações Base de dados 4/11/2014 Desmis9ficando Tecnologias de Big Data 15
16 SGBD em memória Operação de E/S 1 João da Silva 5/8/ Manuel Carlos 3/12/ Gerenciador de transações Júlia Almeida Maria José Alberto Jr. Ana Carolina 12/1/1991 1/9/ /2/ /8/ Log de transações 4/11/2014 Desmis9ficando Tecnologias de Big Data 16
17 SGBDs em memória 4/11/2014 Desmis9ficando Tecnologias de Big Data 17
18 Tecnologias de Big Data SGBD relacional SGBD relacional orientado a colunas SGBD relacional em memória SGBD MPP NoSQL NewSQL Hadoop Machine Learning Visualização Data Scien9st 4/11/2014 Desmis9ficando Tecnologias de Big Data 18
19 SGBD MPP Dados distribuídos (par9cionamento horizontal) Processamento (algoritmos) paralelo de consultas OLAP 4/11/2014 Desmis9ficando Tecnologias de Big Data 19
20 SGBD MPP Algoritmo R S R S R S R S R S Hash(X) 4/11/2014 Desmis9ficando Tecnologias de Big Data 20
21 SGBDs MPP 4/11/2014 Desmis9ficando Tecnologias de Big Data 21
22 SGBDs MPP 4/11/2014 Desmis9ficando Tecnologias de Big Data 22
23 Tecnologias de Big Data SGBD relacional SGBD relacional orientado a colunas SGBD relacional em memória SGBD MPP NoSQL NewSQL Hadoop Machine Learning Visualização Data Scien9st 4/11/2014 Desmis9ficando Tecnologias de Big Data 23
24 NoSQL Escalabilidade SGBDs relacionais não escalam Teorema CAP Abandono da linguagem SQL Interface simples de acesso aos dados (put/get) Modelo de dados flexível (dependente da aplicação/dados) Um conjunto de dados (sem junção) Availability Sharding (par9cionalmento horizontal) Consistency Par99on Tolerance 4/11/2014 Desmis9ficando Tecnologias de Big Data 24
25 NoSQL SGBDs relacionais não escalam Sharding (par9cionamento horizontal) + Two- phase commit Tenho que tentar colocar dados relacionados em transações no mesmo local, para evitar transações distribuídas 4/11/2014 Desmis9ficando Tecnologias de Big Data 25
26 NoSQL SGBDs relacionais não escalam OLTP OLAP 4/11/2014 Desmis9ficando Tecnologias de Big Data 26
27 Exemplo Pergunta em entrevista na Google: como implementar consultas top10? Base de dados com termos de consulta e suas respec9vas contagens (quantas vezes aquele termo foi consultado) Cada vez que um termo é consultado no Google, adiciona- se 1 à contagem Um SGBD relacional aguenta esta vazão (throughput) de transações de update? Consulta é uma ordenação dos termos pelas contagens, escolhendo- se os 10 primeiros resultados Um SGBD relacional aguenta este volume de termos de consulta? 4/11/2014 Desmis9ficando Tecnologias de Big Data 27
28 NoSQL Modelagens para dados de séries temporais Granularidade: segundo Granularidade: minuto Granularidade: hora Granularidade: hora Fonte: hcp://blog.mongodb.org/post/ /schema- design- for- Pme- series- data- in- mongodb 4/11/2014 Desmis9ficando Tecnologias de Big Data 28
29 NoSQL Fonte: hcp://blogs.enterprisedb.com/2014/09/24/postgres- outperforms- mongodb- and- ushers- in- new- developer- reality/ 4/11/2014 Desmis9ficando Tecnologias de Big Data 29
30 NoSQL 4/11/2014 Desmis9ficando Tecnologias de Big Data 30
31 Tecnologias de Big Data SGBD relacional SGBD relacional orientado a colunas SGBD relacional em memória SGBD MPP NoSQL NewSQL Hadoop Machine Learning Visualização Data Scien9st 4/11/2014 Desmis9ficando Tecnologias de Big Data 31
32 NewSQL Classe de SGBDs modernos que tentam prover a mesma escalabilidade dos sistemas NoSQL para OLTP, mantendo a garan9a ACID dos SGBDs tradicionais Modelo relacional e SQL Controle de concorrência distribuído (estado da arte) Em memória Algoritmos de sharding 4/11/2014 Desmis9ficando Tecnologias de Big Data 32
33 NewSQL 4/11/2014 Desmis9ficando Tecnologias de Big Data 33
34 Tecnologias de Big Data SGBD relacional SGBD relacional orientado a colunas SGBD relacional em memória SGBD MPP NoSQL NewSQL Hadoop Machine Learning Visualização Data Scien9st 4/11/2014 Desmis9ficando Tecnologias de Big Data 34
35 Hadoop So~ware livre (Apache So~ware Founda9on) Sistema de arquivos distribuído (HDFS) Processamento paralelo de dados (MapReduce) Linguagens declara9vas (Hive e Pig) Adições Spark/Shark Impala/HAWK... 4/11/2014 Desmis9ficando Tecnologias de Big Data 35
36 Hadoop (histórico) 4/11/2014 Desmis9ficando Tecnologias de Big Data 36
37 HDFS Arquivos divididos em blocos (default 64MB) Cada bloco é replicado em algumas poucas máquinas no cluster (default 3) Estrutura namenode: que conhece os metadados e a localidade datanodes: onde os blocos estão armazenados 4/11/2014 Desmis9ficando Tecnologias de Big Data 37
38 MapReduce Framework de processamento paralelo Tolerância a falhas 4/11/2014 Desmis9ficando Tecnologias de Big Data 38
39 Exemplo WordCount (contagem de palavras) 4/11/2014 Desmis9ficando Tecnologias de Big Data 39
40 Exemplo (WordCount) dog cat dog dog fox dog lion cat dog dog lion fox cat 4/11/2014 Desmis9ficando Tecnologias de Big Data 40
41 Exemplo Sel oin Junção de uma tabela com ela mesma R(X,Y) X=Y R(X,Y) 4/11/2014 Desmis9ficando Tecnologias de Big Data 41
42 Hive Desenvolvido pelo Facebook Man9do atualmente por Facebook, Ne lix, dentre outros HiveQL, linguagem similar a SQL, abstraindo funções MapReduce Não cria um SGBD, simplesmente executa jobs MapReduce hive> CREATE TABLE twitter(follower INT, followee INT); hive> LOAD DATA INPATH '/input/twitter' OVERWRITE INTO TABLE twitter; hive> SELECT COUNT(*) > FROM twitter R JOIN twitter S ON R.followee = S.follower; 4/11/2014 Desmis9ficando Tecnologias de Big Data 42
43 Pig Desenvolvido pela Yahoo! ~2006 Movido para o Hadoop em 2007 Linguagem (Pig La9n) de alto nível para abstrair a linguagem Java grunt> Twitter_1 = LOAD '/input/twitter' USING PigStorage(' ') AS (follower:int, followee:int); grunt> Twitter_2 = LOAD '/input/twitter' USING PigStorage(' ') AS (follower:int, followee:int); grunt> Twitter_SelfJoin = JOIN Twitter_1 by $1, Twitter_2 by $0; grunt> Twitter_SelfJoin_Grp = GROUP Twitter_SelfJoin ALL; grunt> Twitter_SelfJoin_Cnt = FOREACH Twitter_SelfJoin_Grp GENERATE COUNT(Twitter_SelfJoin); grunt> DUMP Twitter_SelfJoin_Cnt; 4/11/2014 Desmis9ficando Tecnologias de Big Data 43
44 Spark Spark: Hadoop em memória Shark SQL: SQL para Spark (assim como Hive) Ideia: alteração do mecanismo de tolerância a falhas não- falha: execução mais rápida (dados em memória, sem necessidade de salvar em disco cada resultado) falha: execução mais lenta (rollback de diversas etapas do processo, não somente uma como no Hadoop) 100x mais rápido 4/11/2014 Desmis9ficando Tecnologias de Big Data 44
45 Cloudera Impala SGBD MPP em cima de HDFS Sem uso de MapReduce 4/11/2014 Desmis9ficando Tecnologias de Big Data 45
46 Hadoop 4/11/2014 Desmis9ficando Tecnologias de Big Data 46
47 E o que eu faço com toda essa tecnologia? 4/11/2014 Desmis9ficando Tecnologias de Big Data 47
48 E o que eu faço com toda essa tecnologia? 4/11/2014 Desmis9ficando Tecnologias de Big Data 48
49 Tecnologias de Big Data SGBD relacional SGBD relacional orientado a colunas SGBD relacional em memória SGBD MPP NoSQL NewSQL Hadoop Machine Learning Visualização Data Scien9st 4/11/2014 Desmis9ficando Tecnologias de Big Data 49
50 Machine Learning R R e Hadoop R e MonetDB (ontem) Madlib Primi9vas de machine learning (gradient descent) para o banco de dados (in- database) Shark Machine learning library Mahout Algoritmos de machine learning para Hadoop MLaaS Nirvana 4/11/2014 Desmis9ficando Tecnologias de Big Data 50
51 R Linguagem e IDE para cálculos esta s9cos Interfaces para Oracle MonetDB (no cia ontem) Hadoop (RHadoop package)... 4/11/2014 Desmis9ficando Tecnologias de Big Data 51
52 Mahout Biblioteca de algoritmos de machine learning para Hadoop MapReduce Abandonaram recentemente o Hadoop MapReduce para Apache Spark Implementações para Single machine MapReduce Spark H2O Apache Flink 4/11/2014 Desmis9ficando Tecnologias de Big Data 52
53 Madlib Algoritmos de machine learning interno ao banco de dados Classificação Regressão Clustering Regras de associação Implementações para PostgreSQL Pivotal Greenplum Database Pivotal Greenplum HAWQ 4/11/2014 Desmis9ficando Tecnologias de Big Data 53
54 Spark MLlib Mesmo que o Madlib para Spark Regressão Classificação Collabora9ve filtering Clustering Decomposição (SVD e PCA) Implementações para Java, Scala e Python 4/11/2014 Desmis9ficando Tecnologias de Big Data 54
55 Outros 4/11/2014 Desmis9ficando Tecnologias de Big Data 55
56 Nirvana Machine Learning as a Service (MLaaS) 4/11/2014 Desmis9ficando Tecnologias de Big Data 56
57 Tecnologias de Big Data SGBD relacional SGBD relacional orientado a colunas SGBD relacional em memória SGBD MPP NoSQL NewSQL Hadoop Machine Learning Visualização Data Scien9st 4/11/2014 Desmis9ficando Tecnologias de Big Data 57
58 Visualização Preparação dos dados e modelagem 95% do tempo Execução dos modelos 5% do tempo Interpretação e visualização dos resultados Outros 95% do tempo 4/11/2014 Desmis9ficando Tecnologias de Big Data 58
59 Visualização 4/11/2014 Desmis9ficando Tecnologias de Big Data 59
60 Tecnologias de Big Data SGBD relacional SGBD relacional orientado a colunas SGBD relacional em memória SGBD MPP NoSQL NewSQL Hadoop Machine Learning Visualização Data Scien9st 4/11/2014 Desmis9ficando Tecnologias de Big Data 60
61 Cien&sta de dados (data scien*st) 4/11/2014 Desmis9ficando Tecnologias de Big Data 61
62 Cien&sta de dados (data scien*st) US faces shortage of 140,000 to 190,000 people with deep analy9cal skills, as well as 1.5 million managers and analysts with the know- how to use the analysis of big data to make effec9ve decisions. Fonte: Big data: The next fronper for innovapon, compeppon, and producpvity, Mckinsey Global InsPtute 4/11/2014 Desmis9ficando Tecnologias de Big Data 62
63 Cien&sta de dados (data scien*st) An individual responsible for modeling complex business problems, discovering business insights and iden9fying opportuni9es through the use of sta9s9cal, algorithmic, mining and visualiza9on techniques. In addi9on to advanced analy9c skills, this individual is also proficient at integra9ng and preparing large, varied datasets, architec9ng specialized database and compu9ng environments, and communica9ng results. A data scien9st may or may not have specialized industry knowledge to aid in modeling business problems and with understanding and preparing data. So~ Skills: Communica9on, Collabora9on, Leadership, Crea9vity, Discipline, Passion Fonte: Gartner, Emerging Role of the Data ScienPst and the Art of Data Science Published: 20 March 2012 ID:G Analyst(s): Douglas Laney Lisa Kart 4/11/2014 Desmis9ficando Tecnologias de Big Data 63
64 Cien&sta de dados (data scien*st) Especialização no Coursera 4/11/2014 Desmis9ficando Tecnologias de Big Data 64
65 Cien&sta de dados (data scien*st) Outros cursos no Coursera 4/11/2014 Desmis9ficando Tecnologias de Big Data 65
66 Obrigado Contato:
Tecnologias para Gerenciamento de Dados na Era do Big Data
Tecnologias para Gerenciamento de Dados na Era do Big Data Victor Teixeira de Almeida 1,2 Vitor Alcântara Batista 1 1 PETROBRAS 2 Universidade Federal Fluminense (UFF) Importante A Petrobras não é responsável
Introdução aos Bancos de Dados Não-Relacionais. Mauricio De Diana (mestrando) Marco Aurélio Gerosa (orientador)
Introdução aos Bancos de Dados Não-Relacionais Mauricio De Diana (mestrando) Marco Aurélio Gerosa (orientador) Conteúdo Histórico de BDs não-relacionais na Web 4 Categorias de bancos NoSQL Exemplos de
Introdução à Banco de Dados. Nathalia Sautchuk Patrício
Introdução à Banco de Dados Nathalia Sautchuk Patrício Histórico Início da computação: dados guardados em arquivos de texto Problemas nesse modelo: redundância não-controlada de dados aplicações devem
Transações Seguras em Bancos de Dados (MySQL)
Transações Seguras em Bancos de Dados (MySQL) Índice Entendendo os storage engines do MySQL 5 1 As ferramentas 1 Mais algumas coisas que você deve saber 1 Com a mão na massa 2 Mais ferramentas Usando o
Hoje é inegável que a sobrevivência das organizações depende de dados precisos e atualizados.
BANCO DE DADOS Universidade do Estado de Santa Catarina Centro de Ciências Tecnológicas Departamento de Ciência da Computação Prof. Alexandre Veloso de Matos alexandre.matos@udesc.br INTRODUÇÃO Hoje é
Banco de Dados. Aula 1 - Prof. Bruno Moreno 16/08/2011
Banco de Dados Aula 1 - Prof. Bruno Moreno 16/08/2011 Roteiro Apresentação do professor e disciplina Definição de Banco de Dados Sistema de BD vs Tradicional Principais características de BD Natureza autodescritiva
Banco de Dados Oracle 10g: Introdução à Linguagem SQL
Oracle University Entre em contato: 0800 891 6502 Banco de Dados Oracle 10g: Introdução à Linguagem SQL Duração: 5 Dias Objetivos do Curso Esta classe se aplica aos usuários do Banco de Dados Oracle8i,
Prof. Daniela Barreiro Claro
Prof. Daniela Barreiro Claro Volume de dados muito grande Principais problemas em relação aos SGBD Relacionais é conciliar o tipo de modelo com a demanda da escalabilidade. Exemplo -Facebook Um crescimento
Gerência de Banco de Dados
exatasfepi.com.br Gerência de Banco de Dados Prof. Msc. André Luís Duarte Banco de Dados Os bancos de dados são coleções de informações que se relacionam para criar um significado dentro de um contexto
MBA Analytics em Big Data
MBA Analytics em Big Data Inscrições Abertas Início das Aulas: 04/06/2015 Dias e horários das aulas: Segunda-Feira 19h00 às 23h00 Semanal Sexta-Feira 19h00 às 23h00 Semanal Carga horária: 600 Horas Duração:
BIG DATA: UTILIZANDO A INTERNET PARA TOMADA DE DECISÕES
BIG DATA: UTILIZANDO A INTERNET PARA TOMADA DE DECISÕES Alex Travagin Chatalov¹, Ricardo Ribeiro Rufino ¹ ¹Universidade Paranaense (Unipar) Paranavaí PR Brasil alex_tr1992@hotmail.com ricardo@unipar.br
Banco de Dados. Otimização de consultas. Prof. Joao Eduardo Ferreira Prof. Osvaldo Kotaro Takai. Última atualização: 15 de maio de 2006
Banco de Dados Otimização de consultas Última atualização: 15 de maio de 2006 Prof. Joao Eduardo Ferreira Prof. Osvaldo Kotaro Takai Introdução Consulta em linguagem de alto nível Análise e validação Forma
Fundamentos dos Sistemas de Informação Organização de Dados e Informações
Fundamentos dos Sistemas de Informação Organização de Dados e Informações http://professor.fimes.edu.br/milena milenaresende@fimes.edu.br Sistema de Gerenciamento de Bases de Dados (DBMS) A implementação
Linguagem SQL (Parte I)
Universidade Federal de Sergipe Departamento de Sistemas de Informação Itatech Group Jr Softwares Itabaiana Site: www.itatechjr.com.br E-mail: contato@itatechjr.com.br Linguagem SQL (Parte I) Introdução
Pollyanna Gonçalves. Seminário da disciplina Banco de Dados II
Pollyanna Gonçalves Seminário da disciplina Banco de Dados II Web 2.0 vem gerando grande volume de dados Conteúdo gerado por redes sociais, sensores inteligentes, tecnologias de colaboração, etc. Novas
Programação com acesso a BD. Prof.: Clayton Maciel Costa clayton.maciel@ifrn.edu.br
Programação com acesso a BD Prof.: Clayton Maciel Costa clayton.maciel@ifrn.edu.br 1 Introdução BD desempenha papel crítico em todas as áreas em que computadores são utilizados: Banco: Depositar ou retirar
HadoopDB. Edson Ie Serviço Federal de Processamento de Dados - SERPRO
HadoopDB Edson Ie Serviço Federal de Processamento de Dados - SERPRO Motivação Grandes massas de dados precisam ser processadas em clusters: 1 nó: 100TB@59MB/s = 23 dias Cluster com 1000 nós 33 min!!!
A Nova Interface do Data Discovery no MicroStrategy 10. Anderson Santos, Sales Engineer Brazil 11/08/2015
A Nova Interface do Data Discovery no MicroStrategy 10 Anderson Santos, Sales Engineer Brazil 11/08/2015 Empresas participantes do MicroStrategy 10 Beta Test Pela primeira vez na história, MicroStrategy
Banco de Dados. Maurício Edgar Stivanello
Banco de Dados Maurício Edgar Stivanello Agenda Conceitos Básicos SGBD Projeto de Banco de Dados SQL Ferramentas Exemplo Dado e Informação Dado Fato do mundo real que está registrado e possui um significado
Interoperabilidade entre Bancos de Dados Relacionais e Bancos de Dados NoSQL
Minicurso: Interoperabilidade entre Bancos de Dados Relacionais e Bancos de Dados NoSQL Geomar A. Schreiner Ronaldo S. Mello Departamento de Informática e Estatística (INE) Programa de Pós-Graduação em
SISTEMA GERENCIADOR DE BANCO DE DADOS
BANCO DE DADOS Universidade do Estado de Santa Catarina Centro de Ciências Tecnológicas Departamento de Ciência da Computação Prof. Alexandre Veloso de Matos alexandre.matos@udesc.br SISTEMA GERENCIADOR
PHP INTEGRAÇÃO COM MYSQL PARTE 1
INTRODUÇÃO PHP INTEGRAÇÃO COM MYSQL PARTE 1 Leonardo Pereira leonardo@estudandoti.com.br Facebook: leongamerti http://www.estudandoti.com.br Informações que precisam ser manipuladas com mais segurança
Principais Comandos SQL Usados no MySql
Principais Comandos SQL Usados no MySql O que é um SGBD? Um Sistema Gerenciador de Banco de Dados (como no Brasil) ou Sistema Gestor de Base de Dados (SGBD) é o conjunto de programas de computador (softwares)
Prof.: Clayton Maciel Costa clayton.maciel@ifrn.edu.br
Programação com acesso a BD Prof.: Clayton Maciel Costa clayton.maciel@ifrn.edu.br 1 Modelos de Dados, Esquemas e Instâncias 2 Modelos de Dados, Esquemas e Instâncias Modelo de dados: Conjunto de conceitos
Engenharia de software 2011A. Trabalho sobre
Engenharia de software 2011A Trabalho sobre NOSQL Not only SQL NoSQL Not only SQL GRUPO - 9 Cléverton Heming Jardel Palagi Jonatam Gebing Marcos Wassem NOSQL O Termo NoSQL, foi utilizado pela primeira
Programação com Acesso a Banco de Dados
Campus Ipanguaçu Curso: Técnico em Informática Programação com Acesso a Banco de Dados AULA 17 ACESSO A BANCO DE DADOS COM JDBC PROF.: CLAYTON M. COSTA 2 011.2 Introdução Aplicação + Banco de Dados: Funcionalidade
Banco de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri. Banco de Dados Processamento e Otimização de Consultas
Processamento e Otimização de Consultas Banco de Dados Motivação Consulta pode ter sua resposta computada por uma variedade de métodos (geralmente) Usuário (programador) sugere uma estratégia para achar
Universidade Federal de Goiás Ciências da Computação Sistemas Operacionais 2
Universidade Federal de Goiás Ciências da Computação Sistemas Operacionais 2 MongoDB Diego Fraga - 083746 Gabriel Henrique - 083771 Lauro Henrique - 074259 O que é MongoDB? - MongoDB é uma ferramenta de
Prof. Daniela Barreiro Claro
Prof. Daniela Barreiro Claro Volume de dados muito grande Principais problemas em relacao aos SGBD Relacionais é conciliar o tipo de modelo com a demanda da escalabilidade. Exemplo -Facebook Um crescimento
Banco de Dados Oracle. Faculdade Pernambucana - FAPE
Faculdade Pernambucana - FAPE Visão Geral dos Componentes Principais da Arquitetura Oracle Servidor Oracle É o nome que a Oracle deu ao seu SGBD. Ele consiste de uma Instância e um Banco de Dados Oracle.
Para construção dos modelos físicos, será estudado o modelo Relacional como originalmente proposto por Codd.
Apresentação Este curso tem como objetivo, oferecer uma noção geral sobre a construção de sistemas de banco de dados. Para isto, é necessário estudar modelos para a construção de projetos lógicos de bancos
Linguagem SQL Parte I
FIB - Centro Universitário da Bahia Banco de Dados Linguagem SQL Parte I Francisco Rodrigues Santos chicowebmail@yahoo.com.br Slides gentilmente cedidos por André Vinicius R. P. Nascimento Conteúdo A Linguagem
ORACLE 11 G INTRODUÇÃO AO ORACLE, SQL,PL/SQL. Carga horária: 32 Horas
ORACLE 11 G INTRODUÇÃO AO ORACLE, SQL,PL/SQL Carga horária: 32 Horas Pré-requisito: Para que os alunos possam aproveitar este treinamento ao máximo, é importante que eles tenham participado dos treinamentos
Disciplina: Tecnologias de Banco de Dados para SI s
Curso de Gestão em SI Disciplina: Tecnologias de Banco de Dados para SI s Rodrigo da Silva Gomes (Extraído do material do prof. Ronaldo Melo - UFSC) Banco de Dados (BD) BD fazem parte do nosso dia-a-dia!
Introdução Banco de Dados
Introdução Banco de Dados Vitor Valerio de Souza Campos Adaptado de Vania Bogorny Por que estudar BD? Os Bancos de Dados fazem parte do nosso dia-a-dia: operação bancária reserva de hotel matrícula em
Noções de. Microsoft SQL Server. Microsoft SQL Server
Noções de 1 Considerações Iniciais Basicamente existem dois tipos de usuários do SQL Server: Implementadores Administradores 2 1 Implementadores Utilizam o SQL Server para criar e alterar base de dados
14/08/2008. Curso Superior de Tecnologia em Banco de Dados Disciplina: Projeto de Banco de Dados Relacional 1 Prof.: Fernando Hadad Zaidan
Faculdade INED Curso Superior de Tecnologia em Banco de Dados Disciplina: Projeto de Banco de Dados Relacional 1 Prof.: Fernando Hadad Zaidan 1 Unidade 2 Introdução a SQL 2 Leitura Obrigatória ELMASRI,
Structured Query Language (SQL)
SQL Histórico Structured Query Language (SQL) Foi desenvolvido pela IBM em meados dos anos 70 como uma linguagem de manipulação de dados (DML - Data Manipulation Language) para suas primeiras tentativas
ESTUDO SOBRE A TECNOLOGIA DE BANCO DE DADOS NoSQL
ESTUDO SOBRE A TECNOLOGIA DE BANCO DE DADOS NoSQL Autores: Nicolas Ignácio RYBERG 1,2 ;; Angelo Augusto FROZZA 3 Identificação autores: 1 Bolsista PIBIC-EM/CNPq;; 2 Aluno do curso Técnico em Informática
17/10/2008. Curso Superior de Tecnologia: Banco de Dados Sistemas para Internet Redes de Computadores
Faculdade INED Curso Superior de Tecnologia: Banco de Dados Sistemas para Internet Redes de Computadores Disciplina: Banco de Dados Prof.: Fernando Hadad Zaidan 1 Unidade 2 Imagem: BARBIERI, Carlos. 2
Conceitos de Banco de Dados
Conceitos de Banco de Dados Autor: Luiz Antonio Junior 1 INTRODUÇÃO Objetivos Introduzir conceitos básicos de Modelo de dados Introduzir conceitos básicos de Banco de dados Capacitar o aluno a construir
SQL Structured Query Language
Janai Maciel SQL Structured Query Language (Banco de Dados) Conceitos de Linguagens de Programação 2013.2 Structured Query Language ( Linguagem de Consulta Estruturada ) Conceito: É a linguagem de pesquisa
COMPETÊNCIAS ESPECÍFICAS Compreender e utilizar a linguagem SQL, na construção e manutenção de uma base de dados.
PLANIFICAÇÃO DA DISCIPLINA DE SISTEMAS DE INFORMAÇÃO 12.ºH CURSO PROFISSIONAL DE TÉCNICO MULTIMÉDIA ANO LECTIVO 2013/2014 6. LINGUAGENS DE PROGRAMAÇÃO IV Pré-requisitos: - Planificar e estruturar bases
Álgebra Relacional. Conjunto de operações que usa uma ou duas relações como entrada e gera uma relação de saída. Operações básicas:
Álgebra Relacional Conjunto de operações que usa uma ou duas relações como entrada e gera uma relação de saída operação (REL 1 ) REL 2 operação (REL 1,REL 2 ) REL 3 Operações básicas: seleção projeção
Banco de Dados. Um momento crucial na organização dos dados é a forma com que cadastramos estes dados, a estrutura de armazenamento que criamos.
Banco de Dados O que é um Banco de Dados? Este assunto é muito vasto, tentaremos resumi-lo para atender as questões encontradas em concursos públicos. Já conhecemos o conceito de dado, ou seja, uma informação
O que são Bancos de Dados?
SQL Básico Liojes de Oliveira Carneiro professor.liojes@gmail.com www.professor-liojes.blogspot.com O que são Bancos de Dados? É o software que armazena, organiza, controla, trata e distribui os dados
Gerenciador de Log. Documento Visão. Projeto Integrador 2015/2. Engenharia de Software. Versão 2.0. Engenharia de Software
Documento Visão e Documento Suplementar Gerenciador de Log Documento Visão Versão 2.0 1 Índice 1. Histórico de Revisões...3 2. Objetivo do Documento...4 3. Sobre o Problema...4 4. Sobre o produto...4 4.1.
David Hows Peter Membrey Eelco Plugge
David Hows Peter Membrey Eelco Plugge Novatec Original English language edition published by Apress, Copyright 2014 by Apress, Inc.. Portugueselanguage edition for Brazil copyright 2015 by Novatec Editora.
Comandos de Manipulação
SQL - Avançado Inserção de dados; Atualização de dados; Remoção de dados; Projeção; Seleção; Junções; Operadores: aritméticos, de comparação,de agregação e lógicos; Outros comandos relacionados. SQL SQL
Faculdade Pitágoras 16/08/2011. Curso Superior de Tecnologia: Banco de Dados Sistemas para Internet
Faculdade Pitágoras Curso Superior de Tecnologia: Banco de Dados Sistemas para Internet Disciplina: Banco de Dados Prof.: Fernando Hadad Zaidan SQL A linguagem SQL é responsável por garantir um bom nível
Faculdade Pitágoras. Curso Superior de Tecnologia: Banco de Dados. Disciplina: Banco de Dados Prof.: Fernando Hadad Zaidan SQL
Faculdade Pitágoras Curso Superior de Tecnologia: Banco de Dados Disciplina: Banco de Dados Prof.: Fernando Hadad Zaidan SQL A linguagem SQL é responsável por garantir um bom nível de independência do
SQL Linguagem de Manipulação de Dados. Banco de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri
SQL Linguagem de Manipulação de Dados Banco de Dados SQL DML SELECT... FROM... WHERE... lista atributos de uma ou mais tabelas de acordo com alguma condição INSERT INTO... insere dados em uma tabela DELETE
Modelos. Comunicação com clientes
Material baseado nas notas de aula: Maria Luiza M. Campos IME/2005 Carlos Heuser - livro Projeto de Banco de Dados CasaNova / PUC/RJ Prof. MSc. Edilberto Silva edilms@yahoo.com Sistemas de Informação Brasília/DF
Banco de Dados. Uma coleção de dados relacionados [ELMASRI/NAVATHE]
![Banco de Dados. Uma coleção de dados relacionados [ELMASRI/NAVATHE]](/thumbs/24/2133891.jpg "Banco de Dados. Uma coleção de dados relacionados [ELMASRI/NAVATHE]")
1/6 Banco de Dados O que é um Banco de Dados? Uma coleção de dados relacionados [ELMASRI/NAVATHE] Conjunto de dados integrados que tem por objetivo atender a uma comunidade específica [HEUSER] Um conjunto
Arquitetura de Banco de Dados
Arquitetura de Banco de Dados Daniela Barreiro Claro MAT A60 DCC/IM/UFBA Arquitetura de Banco de dados Final de 1972, ANSI/X3/SPARC estabeleceram o relatório final do STUDY GROUP Objetivos do Study Group
PLANO DE ENSINO. PRÉ-REQUISITO: Modelagem e Programação Orientada a Objetos. PROFESSOR RESPONSÁVEL : Josino Rodrigues Neto
UNIVERSIDADE FEDERAL RURAL DE PERNAMBUCO PRÓ-REITORIA DE ENSINO DE GRADUAÇÃO Rua Dom Manoel de Medeiros, s/n Dois Irmãos 52171-900 Recife-PE Fone: 0xx-81-332060-40 proreitor@preg.ufrpe.br PLANO DE ENSINO
Uma Breve Introdução. Andréa Bordin
Uma Breve Introdução Andréa Bordin O que significa? NoSQL é um termo genérico que define bancos de dados não-relacionais. A tecnologia NoSQL foi iniciada por companhias líderes da Internet - incluindo
Plano de Trabalho Docente 2014. Ensino Técnico
Plano de Trabalho Docente 2014 Ensino Técnico Etec Etec: Rodrigues de Abreu Código: 135 Município: Bauru Eixo Tecnológico: Informação e Comunicação Habilitação Profissional: Técnica de nível médio de técnico
Introdução a Java. Hélder Nunes
Introdução a Java Hélder Nunes 2 Exercício de Fixação Os 4 elementos básicos da OO são os objetos, as classes, os atributos e os métodos. A orientação a objetos consiste em considerar os sistemas computacionais
Prof. Ronaldo R. Goldschmidt. ronaldo@de9.ime.eb.br rribeiro@univercidade.br geocities.yahoo.com.br/ronaldo_goldschmidt
Prof. Ronaldo R. Goldschmidt ronaldo@de9.ime.eb.br rribeiro@univercidade.br geocities.yahoo.com.br/ronaldo_goldschmidt Prof. Ronaldo Ribeiro Goldschmidt REVISÃO DE BD RELACIONAIS E SQL! "" #!$ #%! $& #
Faculdade Lourenço Filho - ENADE 2011-1
1. Quando se constrói um banco de dados, define-se o modelo de entidade e relacionamento (MER), que é a representação abstrata das estruturas de dados do banco e seus relacionamentos. Cada entidade pode
f. Vocês podem selecionar todos os campos indicando-os, ou seja, sem usar * (boa prática) g. Muito relevante na manutenção de BD e de aplicações.
Tecnologia em Análise e Desenvolvimento de Sistemas Disciplina: B1SGB - Sistemas Gerenciadores de Banco de Dados Memória de aula Aula 11 1) Cláusulas SELECT e FROM a. Apesar de ser a primeira, ela é a
Por que? A WEB está substituindo o desktop Google Gmail, Google Docs, Amazon, Flickr, Facebook, Twitter, YouTube Mudança de Paradigma:
Por que? A WEB está substituindo o desktop Google Gmail, Google Docs, Amazon, Flickr, Facebook, Twitter, YouTube Mudança de Paradigma: Amazon Web Services Windows Azure Platform Google App Engine Evolução
AULA 2 INTERAÇÃO COM O BANCO DE DADOS
AULA 2 INTERAÇÃO COM O BANCO DE DADOS BANCO DE DADOS POSTGRESQL O PostgreSQL é um sistema gerenciador de banco de dados dos mais robustos e avançados do mundo. Seu código é aberto e é totalmente gratuito,
E N AT O M O L I N A T O T H
no:sql Not only SQL Renato Molina Toth ww.renatomolina.in R E N AT O M O L I N A T O T H O que é? O que é? Não é uma nova tecnologia, é uma nova abordagem Propõe um modelo alternativo de banco de dados
Modelo Cliente/Servidor Por HIARLY ALVES
UNICE Ensino Superior Linguagem de Programação Ambiente Cliente Servidor. Modelo Cliente/Servidor Por HIARLY ALVES Fortaleza - CE CONCEITOS Cliente x Servidor. Cliente É um programa (software) executado
NoSQL: Vantagens, Desvantagens e Compromissos. Mauricio De Diana (mestrando) Marco Aurélio Gerosa (orientador)
NoSQL: Vantagens, Desvantagens e Compromissos Mauricio De Diana (mestrando) Marco Aurélio Gerosa (orientador) Agenda Definição de NoSQL Atributos de qualidade e trocas Modelo de dados Escalabilidade Transações
Formação em Banco de Dados
Formação em Banco de Dados Sobre a KTEC A KTEC Escola de Tecnologia oferece uma série de cursos, para os que procuram uma base sólida no aprendizado, com foco nas boas práticas que fazem a diferença no
Processando Big Data com Java: Receitas para resolver problemas comuns. Fabiane Bizinella Nardon (@fabianenardon)
Processando Big Data com Java: Receitas para resolver problemas comuns Fabiane Bizinella Nardon (@fabianenardon) The best minds of my genera3on are thinking about how to make people click ads. That sucks.
Introdução. Banco de dados. Por que usar BD? Por que estudar BD? Exemplo de um BD. Conceitos básicos
Introdução Banco de Dados Por que usar BD? Vitor Valerio de Souza Campos Adaptado de Vania Bogorny 4 Por que estudar BD? Exemplo de um BD Os Bancos de Dados fazem parte do nosso dia-a-dia: operação bancária
Bases de Dados Relacional/Objeto e NoSQL. Cristina C. Vieira Departamento de Engenharia Eletrónica e Informática
Bases de Dados Relacional/Objeto e NoSQL Cristina C. Vieira Departamento de Engenharia Eletrónica e Informática SGBDs Principais tarefas Gerir grandes volumes de dados Suportar acessos eficientes Garantir
Universidade Federal de Santa Maria Curso de Arquivologia. Disciplina de Banco de Dados Aplicados à Arquivística. Versao 1.
Universidade Federal de Santa Maria Curso de Arquivologia Disciplina de Banco de Dados Aplicados à Arquivística Prof. Andre Zanki Cordenonsi Versao 1.0 Março de 2008 Tópicos Abordados Conceitos sobre Banco
Evolução. Tópicos. Bancos de Dados - Introdução. Melissa Lemos. Evolução dos Sistemas de Informação Esquemas Modelos. Características de SGBDs
1 Bancos de Dados - Introdução Melissa Lemos melissa@inf.puc-rio.br Tópicos Evolução dos Sistemas de Informação Esquemas Modelos Conceitual Lógico Características de SGBDs 2 Evolução tempo Programas e
Prof. Antonio Almeida de Barros Jr. Prof. Antonio Almeida de Barros Junior
Prof. Antonio Almeida de Barros Jr. Introdução Dados Informações Banco de Dados Conceitos Básicos em Bancos de Dados Definição BD - Banco de Dados SGBD - Sistema de Gerenciamento de BD Programa de Aplicação
Fundamentos de Banco de Dados
Fundamentos de Banco de Dados SISTEMAS BASEADOS NO PROCESSAMENTO DE ARQUIVOS Sistema A Funcionário Pagamento Cargo Sistema B Funcionário Projeto SISTEMAS GERENCIADORES DE BANCO DE DADOS (SGBD) Sistema
Hadoop - HDFS. Universidade Federal de Goiás Ciência da Computação
Hadoop - HDFS Universidade Federal de Goiás Ciência da Computação O que é Hadoop? Um framework para lidar com aplicações distribuídas que fazem uso massivo de dados Originalmente construído para a distribuição
Banco de Dados. Marcio de Carvalho Victorino www.dominandoti.eng.br. Exercícios SQL
Banco de Dados Exercícios SQL 1 TRF (ESAF 2006) 32. Analise as seguintes afirmações relacionadas a Bancos de Dados e à linguagem SQL: I. A cláusula GROUP BY do comando SELECT é utilizada para dividir colunas
BASES DE DADOS I LTSI/2. Universidade da Beira Interior, Departamento de Informática Hugo Pedro Proença, 2010/2011
BASES DE DADOS I LTSI/2 Universidade da Beira Interior, Departamento de Informática Hugo Pedro Proença, 2010/2011 Horário Sa Sa Sa Sa Sa Tempos Seg. Ter. Qua. Qui. Sex. l l l l l 8-9 - - - - - - - - -
Ex.: INSERT INTO tmpautor (CDAUTOR, NMAUTOR) VALUES (1, Renato Araújo )
Tecnologia em Análise e Desenvolvimento de Sistemas Disciplina: B1SGB - Sistemas Gerenciadores de Banco de Dados Memória de aula Aula 10 1) Incluindo linhas nas tabelas a. Para incluir linhas em tabelas
BANCO DE DADOS. info 3º ano. Prof. Diemesleno Souza Carvalho diemesleno@iftm.edu.br www.diemesleno.com.br
BANCO DE DADOS info 3º ano Prof. Diemesleno Souza Carvalho diemesleno@iftm.edu.br www.diemesleno.com.br Na última aula estudamos Unidade 4 - Projeto Lógico Normalização; Dicionário de Dados. Arquitetura
Banco de Dados. Prof. Antonio
Banco de Dados Prof. Antonio SQL - Structured Query Language O que é SQL? A linguagem SQL (Structure query Language - Linguagem de Consulta Estruturada) é a linguagem padrão ANSI (American National Standards
PL/pgSQL por Diversão e Lucro
PL/pgSQL por Diversão e Lucro Roberto Mello 3a. Conferência Brasileira de PostgreSQL - PGCon-BR Campinas - 2009 1 Objetivos Apresentar as partes principais do PL/pgSQL Apresentar casos de uso comum do
GUIA RÁPIDO DE UTILIZAÇÃO DO APLICATIVO RDB2LOD
GUIA RÁPIDO DE UTILIZAÇÃO DO APLICATIVO RDB2LOD Em sua versão inicial, o aplicativo RDB2LOD foi desenvolvido para instalação e execução em ambiente de máquina virtual Java, e oferece suporte aos SGBDs
LINGUAGEM SQL. DML - Linguagem de Manipulação de Dados
LINGUAGEM SQL Structured Query Language, ou Linguagem de Consulta Estruturada ou SQL, é uma linguagem de pesquisa declarativa para banco de dados relacional (base de dados relacional). Muitas das características
Sistema de Bancos de Dados. Conceitos Gerais Sistema Gerenciador de Bancos de Dados
Sistema de Bancos de Dados Conceitos Gerais Sistema Gerenciador de Bancos de Dados # Definições # Motivação # Arquitetura Típica # Vantagens # Desvantagens # Evolução # Classes de Usuários 1 Nível 1 Dados
NOME SEXO CPF NASCIMENTO SALARIO
Tutorial SQL Fonte: http://www.devmedia.com.br/articles/viewcomp.asp?comp=2973 Para começar Os Sistemas Gerenciadores de Bancos de Dados Relacionais (SGBDr) são o principal mecanismo de suporte ao armazenamento
Ensino Técnico Integrado ao Médio FORMAÇÃO PROFISSIONAL. Plano de Trabalho Docente 2014
Ensino Técnico Integrado ao Médio FORMAÇÃO PROFISSIONAL Plano de Trabalho Docente 2014 ETEC PROF. MASSUYUKI KAWANO Código: 136 Município: TUPÃ Eixo Tecnológico: INFORMAÇÃO E COMUNICAÇÃO Habilitação Profissional:
BANCO DE DADOS. Isac Aguiar isacaguiar.com.br isacaguiar@gmail.com
BANCO DE DADOS Isac Aguiar isacaguiar.com.br isacaguiar@gmail.com Contexto Fazem parte do nosso dia a dia: Operações bancárias Matrícula na universidade Reserva de hotel Controle de biblioteca Comércio
INFORMÁTICA APLICADA II BANCO DE DADOS
INFORMÁTICA APLICADA II BANCO DE DADOS Professor:. Carga horária semanal: 4 HA Resumo dos assuntos abordados: - Teoria de banco de dados; - Modelagem de dados; - MS-Access; - Linguagem SQL; - PostgreSQL;
SQL Linguagem de Definição de Dados. Banco de Dados Profa. Dra. Cristina Dutra de Aguiar Ciferri
SQL Linguagem de Definição de Dados Banco de Dados SQL Structured Query Language Uma das mais importantes linguagens relacionais (se não a mais importante) Exemplos de SGBD que utilizam SQL Oracle Informix
PROVA ESPECÍFICA Cargo 04
10 PROVA ESPECÍFICA Cargo 04 QUESTÃO 21 Analise as seguintes afirmativas: I. Uma das funções de um DBA é gerenciar os mecanismos de segurança de acesso aos dados armazenados em um SGBD (Sistema Gerenciador
NoSQL Apache Cassandra para DBAs. Conceitos básicos que todo DBA deve conhecer sobre Apache Cassandra.
NoSQL Apache Cassandra para DBAs Conceitos básicos que todo DBA deve conhecer sobre Apache Cassandra. Apresentação Pessoal Ronaldo Martins: Há mais de 14 anos dedicado à tecnologias Oracle, passando pelas
23/05/12. Computação em Nuvem. Computação em nuvem: gerenciamento de dados. Computação em Nuvem - Características principais
Computação em Nuvem Computação em nuvem: gerenciamento de dados Computação em nuvem (Cloud Computing) é uma tendência recente de tecnologia cujo objetivo é proporcionar serviços de Tecnologia da Informação
Aplicativo web para definição do modelo lógico no projeto de banco de dados relacional
Aplicativo web para definição do modelo lógico no projeto de banco de dados relacional Juarez Bachmann Orientador: Alexander Roberto Valdameri Roteiro Introdução Objetivos Fundamentação teórica Desenvolvimento
Tarefa Orientada 16 Vistas
Tarefa Orientada 16 Vistas Objectivos: Vistas só de leitura Vistas de manipulação de dados Uma vista consiste numa instrução de SELECT que é armazenada como um objecto na base de dados. Deste modo, um