Fundamentos de Banco de Dados e Modelagem de Dados

Transcrição

1 Universidade Federal de Mato Grosso Instituto de Computação Pós Graduação Lato Sensu em Banco de Dados Fundamentos de Banco de Dados e Modelagem de Dados Prof. Dr. Josiel Maimone de Figueiredo josiel@ic.ufmt.br Março

2 Conteúdo Programático Aula 1.Introdução Histórico e evolução Arquitetura de SBD Aula 2.Modelagem de Dados Modelo Entidade Relacionamento Aula 3.Modelagem de Dados MER-Estendido

3 Conteúdo Programático Aula 4.Modelagem de Dados Modelo Orientado a Objetos Aula 5.Modelagem Lógica Modelo Relacional Aula 6.Mapeamento Modelagem Lógica x Conceitual

4 Conteúdo Programático Aula 7.Normalização e Desnormalização Aula 8.Padrão SQL Evolução Especificações Aula 9.Banco de Dados Não/Semi Estruturados Aula 10. Projetos / Prova

5 Pós Graduação Lato Sensu em Banco de Dados Disciplina: Fundamentos de Banco de Dados e Modelagem de Dados Aula 1 Histórico e Evolução de Banco de Dados Prof. Dr. Josiel Maimone de Figueiredo josiel@ic.ufmt.br Março 2015

6 Conceitos básicos O que é um Banco de Dados? O que é um Sistema de Banco de Dados Quais os tipos de usuários? Onde está dentro do contexto de Engenharia de Software?

7 Conceitos básicos O que é um Banco de Dados? Conjunto de dados estruturados confiáveis, coerentes e compartilhados

8 Conceitos básicos O que é um Sistema de Banco de Dados? um ambiente eficiente para recuperar e armazenar informações de Bancos de Dados Eliminar ou Reduzir Redundância Inconsistência de Dados Permitir Rapidez no acesso aos Dados Concorrência Segurança

9 Conceitos básicos O que é um Banco de Dados? O que é um Sistema de Banco de Dados? Quais os tipos de usuários? Onde está dentro do contexto de Engenharia de Software?

10 Tipos de Usuários Usuários Programadores Incluem dados Fazem consultas Definem dados Criam programas que acessam os dados Administradores de BD (DBA) Responsável por manter o sistema funcionando

11 Conceitos básicos O que é um Banco de Dados? O que é um Sistema de Banco de Dados? Quais os tipos de usuários? Onde está dentro do contexto de Engenharia de Software?

12 Engenharia de Software IC - UFMT [Amber2001]

13 Engenharia de Software IC - UFMT [Amber2001]

14 Engenharia de Software BD Distribuídos Sistemas Distribuídos & Internet Sist. de Suporte a Decisão BD Multimídia BD Dimensional Sistemas de Bancos de Dados DW Inteligência Artificial Outras áreas Linguagens de Programação BDD Espacial BD Ativo BDD Ativo Temporal BDOO BDOO Ativo BDDOO BD OO Espacial Espaço Temporal BD de Restrições

15 Histórico Visão Visão Repositório Dispositivos de armazenamento Visão Global Arquitetura de Banco de Dados Visão Dado Evolução dos Dados Visão Conceitual Modelo de Dados

16 Repositório: cartão Visão Modelo Sistema de cartão perfurado Muito lento e tedioso para usar Erros de operação comumente realizados Correções de difícil execução

17 Repositório: fita Visão Modelo Fita magnética Em 1950 construída primeira fital comercial Armazenava 1 milhão de bits Recuperava uma palavra em 5 ms Propriedades Acesso sequencial

18 Repositório: disco Visão Modelo Em setembro de 1956 IBM apresenta RAMAC (Random Access Method of Accounting and Control), O primeiro sistema de disco de computador para armazenamento Mesmo princípio utilizado até os dias de hoje Disco(s) Cabeça(s) de leitura

19 Repositório: SSD Visão Modelo Solid State Drive Primeiro criado em 1976 Velocidade 555 MB/s de leitura e 520 MB/s de escrita Organizado em páginas e blocos

20 Histórico Visão Visão Repositório Dispositivos de armazenamento Visão Global Arquitetura de Banco de Dados Visão Dado Evolução dos Dados Visão Conceitual Modelo

21 Arquitetura de um Sistema de Banco de Dados VisãoGlobal Componentes Usuário Software manipulação Hardware armazenamento

22 Arquitetura de um Sistema de Banco de Dados VisãoGlobal Evolução 1ª geração: Software único controla: interface, manipulação, acesso, armazenamento e gerenciamento dos dados. Software Armazenamento

23 Arquitetura de um Sistema de Banco de Dados VisãoGlobal Evolução 2ª geração: Software 2 camadas Aplicação (Cliente ) controla: manipulação, interface SGBD (Servidor) controla o acesso, armazenamento e gerenciamento dos dados. Aplicação Sistema Gerenciador de Banco de Dados Software

24 Arquitetura de um Sistema de Banco de Dados VisãoGlobal Evolução 3ª geração: Software Distribuído Cliente (Aplicação) Servidor (SGBD) vários locais vários produtos Aplicação SGBD1 SGBD2 SGBD1 SGBD3 Software

25 Arquitetura de um Sistema de Banco de Dados VisãoGlobal Evolução 4ª geração: Software 3 camadas Cliente (Aplicação) Navegador Web Servidor Web SGBD SGBD Servidor Web Navegador Web Software

26 Arquitetura de um Sistema de Banco de Dados VisãoGlobal Evolução 5ª geração: Software Multi camadas Cliente: vários dispositivos Servidor de Aplicações componentes SGBD SGBD Cliente Servidor de Aplicações Software

27 Arquitetura de um Sistema de Banco de Dados VisãoGlobal Evolução Nª geração: SGBD Paralelo Processamento paralelo SGBD SGBD Cliente Servidor de Aplicações SGBD SGBD Software

28 Arquitetura de um Sistema de Banco de Dados VisãoGlobal Evolução Nª geração: SGBD Cluster Servidor Vários nós com memória e disco compartilhados no1 SGBD no2 Cliente no3 Software

29 Arquitetura de um SGBD VisãoGlobal Evolução Nª geração: Software Universal Server Servidor Acessa várias fontes SGBD Cliente SGBD 2

30 Arquitetura de um SGBD VisãoGlobal Evolução Nª geração: SGBD Distribuído Distribuição transparente

31 Arquitetura de um SGBD VisãoGlobal Evolução Nª geração: Software Nuvem Cliente: vários dispositivos Servidor Elasticidade horizontal Multitenant

32 Arquitetura de um SGBD VisãoGlobal Evolução Nª geração: SGBD InMemory Dados em memória

33 Arquitetura de um SGBD VisãoGlobal Evolução Nª geração: BigData Ambiente Poliglota

34 Histórico Visão Visão Repositório Dispositivos de armazenamento Visão Global Arquitetura de Banco de Dados Componentes Visão Dado Evolução dos Dados Visão Conceitual Modelo

35 Conceitos Básicos Visão Dados Informação X Dado Fatos registrados, e que têm um significado implícito, sobre acontecimentos Gravação em código de uma observação, de um objeto, de um fenômeno

36 Conceitos Básicos Visão Dados Informação X Dado Conhecimento (compreensão / teoria) Informações (significado para organização) Dados (qualitativos / quantitativos) Abstração / Valor Ação (projetos / valores)

37 Dados Visão Dados Para definir um tipo de dado é preciso ter Propriedades: representação domínio Operações manipulação Em outras palavras: Operandos + Operadores

38 Dados: número Visão Dados Para definir um tipo de dado é preciso ter Propriedades: Representação: BCD, little endian, big endian Domínio: 64 bits Ordem total Operações Manipulação: soma, adição, etc Comparações: <, >, etc Padrão para arredondamento em contas

39 Dados: alfanumérico Visão Dados Propriedades: Representação: codificação de caracter UNICODE, ASCII, ISO 5960, etc Domínio: 16 bits para UNICODE (65535 caracteres) Operações Manipulação: concatenação, etc Comparações: ordem alfabética, etc

40 Dados Visão Dados Além da definição de Operandos + Operadores em Banco de Dados é preciso definir Método de Acesso (MA) Árvores Usam a propriedade de ordem total para dividir o domínio e diminuir o número de comparações Bitmap, etc

41 Dados: texto estruturado Visão Dados Propriedades: Representação: Convergindo para padrão XML (Extensible Markup Language) Estrutura hierárquica Diversos padrões: XHTML, SMIL, etc Domínio: Texto estruturado com marcações <xml> </xml>

42 Dados: texto longo Visão Dados Propriedades: Representação: Uso de método de acesso específico Padrão Full Text Formato do arquivo: ODF, DOC, PDF, etc Domínio: Texto com mais de 64Kb

43 Dados: imagem Visão Dados Propriedades: Representação: Resolução definida pela matriz de pixels (raster) Modelo de cores: RGB(aditivo), CMYK(subtrativo), HSB. Formato do arquivo: JPG, PNG, TIFF, etc Domínio: O tamanho da matriz pode ultrapassar Gigabytes

44 Dados: imagem Visão Dados Armazenamento Operações (não embutidas no SGBD) Manipulação: adição, subtração,etc Buscas de partes das imagens Em formato binário Métodos estatísticos e da área de reconhecimento de padrões podem normalmente não são escaláveis Comparações:???????? Imagem é um dado complexo!!

45 Dados: complexo Visão Dados Comparação Não possui relação de ordem total Não existe origem dos dados Ordenação dos dados: < <

46 Dados: complexo Visão Dados Comparação Não possui relação de ordem total Não existe origem dos dados Ordenação dos dados: < <

47 Dados: complexo Visão Dados Comparação Qual o parâmetro usar para comparação?

48 Dados: complexo Visão Dados Comparação: Similaridade entre objetos Valor de Similaridade Criação de um Método de acesso: Domínio de dados complexo Permita buscas por similaridade 5

49 Dados: complexo Visão Dados Imagem é um dado complexo Pertence a um espaço métrico Exige a definição de uma métrica (p1) x, y S, d(x, y) 0 positiva, (p2) x, y S, d(x, y) = d(y, x) (p3) x S, d(x, x) = 0 e, em alguns casos, simétrica, reflexiva, (p4) x, y S, x y d(x, y) > 0 (p5) x, y, z S, d(x, y) d(x, z) + d(z, y) Desigualdade Triangular estritamente positiva. Indexação feita considerando a similaridade entre os objetos

50 Dados: complexo Visão Dados Método de Acesso Métrico Seleciona um ou mais objetos representativos Inserção de um novo objeto Distância aos representativos são calculados e armazenados Durante as consultas Usa a propriedade de desigualdade triangular para descartar os objetos

51 Dados: complexo Visão Dados Exemplo de MA: Slim-Tree: J B K E L I MD N O C P AG F Q H B E K E L C A B J B I A D F C H A G M D N F Q O C P

52 Dados: complexo Visão Dados Estaticas: GH-tree (Generalized Hyperplane Decomposition tree) VP-tree (Vantage Point tree) FQ-tree (Fixed Queries tree) GNAT (Geometric Near-Neighbor Access Tree) MVP-tree (Multi-Vantage Point tree)... Dinâmicas: M-tree Slim-tree...

53 Dados: complexo Visão Dados Buscas por similaridade Retorna o(s) objeto(s) mais similares ao objeto de consulta (referência) Principais tipos: Range Query - RQ k-nearest Neighbor Query - knnq

54 Dados: complexo Visão Dados Range Query Recupera todos os objetos que estão até uma distância rq ao objeto de consulta oq oq rq

55 Dados: complexo Visão Dados k-nearest Neighbor Query Recupera os k elementos mais similares ao objeto de consulta oq oq

56 Dado: áudio Visão Dados Propriedades: Representação: freqüência e altura Domínio: 64 bits Possui dimensão tempo Influencia nas comparações Formato de arquivos: Wav, Ogg Vorbis, MP3 Operações Manipulação: freqüência Comparações: intervalos

57 Dado: vídeo Visão Dados Propriedades: Representação: Domínio: Possui dimensão tempo Influencia nas comparações Imagem + som = sincronização Formato de arquivo: RM, SWF, MPEG,

58 Dado: genômico Propriedades: Representação: sequência de caracteres Domínio: combinação de nucleotídeos Visão Dados Operações Manipulação: regras de composição Comparações: faixas semelhantes, formas semelhantes

59 Dado: espacial Visão Dados Propriedades: Representação: coordenadas Domínio: espaço N-dimensional Operações Manipulação: pontos e regiões Comparações: métodos de acesso multidimensionais

60 Dado: espacial Visão Dados Consultas espaciais Seleção por ponto Seleção por região Seleção por janela Fonte: Karine Ferreira (2006)

61 Dado: espacial Visão Dados Junção espacial Para cada rodovia selecione as escolas que estão a menos de 1000 metros. Fonte: Karine Ferreira (2006)

62 Dado: espacial Visão Dados Predicados topológicos A B B B B- A A A- disjoint B- A A A equal B B B B B A B B- overlap B- A A A contains B A A A- A B B B B- A A A- meet A ABB B B A A A A- B B B- inside Fonte: Adaptado de Egenhofer e Herring (1991) B- A A A covers B A B B B B B A B- A A A- covered by

63 Dado:espacial Visão Dados Métodos de Acesso Multidimensionais: k-d Trees Fonte: Gilberto Ribeiro (2006)

64 Dado: espacial Visão Dados Métodos de Acesso Multidimensionais Fixed-Grid Fonte: Gilberto Ribeiro (2006)

65 Dado: espacial Visão Dados Métodos de Acesso Multidimensionais Quadtree

66 Dado: espacial Visão Dados Métodos de Acesso Multidimensionais R-Trees

67 Dado: composição Visão Dados Sistemas de Informação Geográfica Imagens georreferenciadas Sensores orbitais captam bandas do espectro eletromagnético Imagens podem atingir 200MB cada Todos os sensores captam TB de dados diariamente

68 Dado: composição Visão Dados fonte: NASA

69 Histórico Visão Visão Repositório Dispositivos de armazenamento Visão Global Arquitetura de Banco de Dados Visão Dado Evolução dos Dados Visão Conceitual Modelo de Dados

70 Modelo de Dados Coleção de construções lógicas usadas para representar estrutura de dados estruturados e seus relacionamentos em um banco de dados Modelos conceituais: natureza lógica de representação dos dados distante de tecnologia Modelos lógicos ênfase na forma como os dados são representados pelo banco de dados próximo de tecnologia 70

71 Modelo: arquivos Dados armazenados diretamente em arquivos Cada arquivo organizado pelo tipo de uso Dados redundantes Sem escalabilidade Dependência entre aplicação e estrutura dos dados Cada manipulação dependia de um programa (ou método) específico Baixa segurança Dados difíceis de serem representados Data: Fev 14, 1955 Hora: 2:00 p.m. Paciente:Joana, CID: Nome: Rua: Cidade: Fone: Joana Av. Dom,123 Poconé

72 Modelo: arquivos Limitações Separação e Isolamento de Dados Dificuldade no acesso aos dados porque eles são isolados em arquivos separados. Exemplo:Listar todos os pacientes que foram atendidos em fevereiro Criar um arquivo temporário dos pacientes Identificar os atendimentos de fevereiro Testar e sincronizar o processamento dos dois arquivos para garantir a extração correta dos dados. Data: Fev 14, 1955 Hora: 2:00 p.m. Paciente:Joana, CID: Nome: Rua: Cidade: Fone: Joana Av. Dom,123 Poconé

73 Modelo: arquivos Limitações Dependência entre Dados e Programas Dificuldade em mudar as definições das estruturas de arquivo existentes. Exemplo:Aumentar o tamanho do campo de endereço do paciente Criar um programa de conversão para: Abrir o arquivo original para leitura Abrir um arquivo temporário representando a nova estrutura Ler um registro do arquivo original, converter o dado e gravá-lo no arquivo temporário. Repetir isto p/ todos os registros. Remover o arquivo original. Renomear o arquivo temporário.

74 Modelo: arquivos Limitações Incompatibilidade de Formatos de Arquivos Como a definição dos arquivos são embutidas nos programas de aplicação, os formatos destes arquivos dependem da linguagem de programação escolhida. Pode haver a necessidade de escrita de um software para converter os arquivos para um formato comum e facilitar o processamento. Isto acarreta em consumo de tempo e dinheiro. Exemplo: O setor de diagnóstico pode desejar obter o nome e o endereço de todos os pacientes cujos diagnósticos envolvem dengue.

75 Modelo: arquivos Limitações Consultas Pré-determinadas Impossibilidade de realização de consultas nãoplanejadas (i.e. consultas ad-hoc). Aumento da carga de trabalho do Programador, resultando em: Programas inadequados ou ineficientes na satisfação dos requisitos dos usuários. Com documentação reduzida. De manutenção difícil. Omissão/Redução de funcionalidades importantes (e.g. recuperação, segurança,...)

76 Modelo: Hierárquico Visão Modelo Hierárquico Uma hierarquia define a organização e o acesso aos dados Cada nó pode ter diversos filhos

77 Modelo: Hierárquico Visão Vantagens Simplicidade conceitual Integridade da base de dados Independência de Dados Eficiência Desvantagens Implementação complexa Falta de padrão Dependência estrutural Limitação de implementação

78 Modelo: Redes Visão Cada registro pode ter diversos pais Composto de conjuntos Cada conjunto tem registro dono e registro membro Membro pode ter diversos donos

79 Modelo: Redes Visão Vantagens Simplicidade conceitual Manipula diversos tipos de relacionamento Flexibilidade no acesso aos dados Permite manter integridade Independência de dados Padronizado Desvantagens Complexidade das ligações (ponteiros) Falta de independência estrutural

80 Modelo: Relacional Visão Edgar Codd Pai do Modelo Relacional IBM San Jose Em 1970, Codd publicou: A Relational Model of Data for Large Shared Data Banks. Modelo Relacional consiste de: Independência de Dados com implementação e armazenamento em hardware. Navegação automática (alto nível) Linguagem não-procedural

81 Modelo: Relacional Visão A adoção do modelo relacional enfrentou dificuldades IBM investiu muito no sistema IMS Padrão CODASYL Primeiras implementações System R IBM Criou linguagem SEQUEL Ingres Berkeley Michael Stonebraker Eugene Wong

82 Modelo: Relacional Visão Modelo lógico Usuário considera que trabalha com uma coleção de tabelas que armazenam os dados Tabelas são uma série de intersecções de linhas/colunas Tabelas possui características parecidas com de entidades

83 Modelo: MER Visão Modelo Entidade Relacionamento Modelo conceitual Representa informações com Entidades representam entes do mundo real. Relacionamento representam interações entre as entidades.

84 Modelo: MER cor fabricante modelo 1 Veículo n 1 idade possui_frota 1 produz é-um Companhia nome_comp domicílio #pessoa Pessoa n rua localização #companhia nome Visão 1 Empregado administra 1 1 possui trabalha 1 Subsidiária nome_sub rua localização qualificação n gerencia n salário 1

85 Modelo: OO Visão Modelo Paradigma Orientado a Objetos Classe e Objeto Encapsulamento Relacionamento Herança Associação Polimorfismo

86 Modelo: OO Visão Modelo Sistemas Orientados a Objetos Conceito mais especializado de detalhamento da realidade (herança) Conceito de reutilização: maior produtividade Melhor ligação: analista X usuário Suportam com mais flexibilidade alterações e evolução

87 Modelo: OO Visão Modelo Booch Rumbaugh Jacobson Fusion Meyer Operation descriptions, Message numbering Before and after conditions Embley Harel Singleton classes, High-level view State charts Gamma, et.al Wirfs-Brock Frameworks, patterns, notes Shlaer - Mellor Object Lifecycles Odell Classification Responsibilities

88 Modelo: OO Visão Modelo

89 Modelo: OO Visão Modelo Diagrama de Classes

90 BD x Aplicações Modelo: OO classe1: Companhia: [ nome: String, matriz: Endereço; Subsidiarias: {Subsidiaria}, Presidente: Empregado] classe2: Subsidiaria: [ nome: String, escritório: Endereço; Gerente: Empregado, Empregados: {Empregado}] classe3: Endereço: [ rua: String, localização: String] classe4: Pessoa: [ nome: String, idade: Integer; domicilio: Endereço, Frota: {Veiculos}] classe5: Empregado is-a Pessoa: [ qualificações: {String}, salário: Integer; Familiares: {Pessoa}]

91 Modelo: objeto-relacional Visão Modelo Sistema Objeto-relacional Extensão de Tipo Básico em Contexto SQL Objetos Complexos em Contexto SQL Herança em Contexto SQL Suporte para Regras de Produção permite estender o banco de dados com tipos e funções específicas da aplicação A linguagem de consulta OR (SQL3) é uma extensão da linguagem SQL para suportar o modelo de objetos As extensões incluem consultas envolvendo objetos, atributos multivalorados, TADs, métodos e funções como predicados de busca em uma consulta

92 BD x Aplicações Modelo: objeto-relacional Criação de Tipos: CREATE TYPE Endereço ( RuaNoVARCHAR(60), Cidade VARCHAR(40), ); CREATE TYPE Companhia ( NomeComp String, Matriz endereço, Subsidiarias SET(REF(Subsidiaria)), Presidente REF(Empregado), ); CREATE TYPE Fornecedor ( CodFornec CHAR(4) NomeFornec VARCHAR(40) EndFornec endereço, ); CREATE TYPE Subsidiaria ( NomeSub String, Escritório endereço, Empregados SET(REF(Empregado)), ); CREATE TYPE empregado ( nome CHAR(20), salário DECIMAL(10,2), ); Criação de Tabelas: CREATE TABLE Fornecedor OF Fornecedor CREATE TABLE empregados OF Empregado

93 Modelo: multidimensional Visão Modelo Armazena os dados em arrays multidimensionais com um número fixo de dimensões Permite uma visualização multidimensional e multigranular dos dados Dimensões: diferentes perspectivas de visualização dos dados (podem ser compostas por múltiplos níveis) Elementos (ou membros): posições segundo uma dimensão Medidas: conteúdo de uma célula Te m po Fev./13 Jan./13 NORDESTE P1 P2 P3 P4 PERNAMBUCO CEARÁ FORTALEZA... SOBRAL SUDESTE RIO DE JANEIRO SÃO PAULO Produto

94 Modelo: multidimensional Visão Modelo Operações sobre o cubo P ro d u to Local Tem po P ro d u to Vendas Vendas Local Tem po Tem po Local Vendas P ro d u to

95 Modelo: multidimensional Operações sobre o cubo Visão Modelo

96 Classificação de SGBD Visão

97 Classificação de SGBD Visão

98 Evolução dos SGBD Visão Modelo Evolução nos tipos de dados adicionar novos tipos de dados nativos permitir tipos definidos pelo usuário (UDT) Evolução na produção dos dados Evolução na transmissão dos dados uso de MemCache redes de alta velocidade Evolução no armazenamento dos dados dispositivos SSD, alta velocidade

99 Evolução dos SGBD: Desafios Visão Modelo dados na ordem de dezenas ou centenas de TB poder de crescimento elástico horizontal controle de transação ACID torna inviável a elasticidade fácil distribuição dos dados e/ou processamento abordagem de cluster é cara SGBD paralelos são caros tipos de dados variados, complexos e/ou semiestruturados modelo de dados objeto-relacional não resolve todos os requisitos

100 Classificação de SGBD Visão OldSQL Tradicionais Relacionais (SQL) NoSQL Novos modelos de dados Novos controles transacionais NewSQL Novas tecnologias nos OldSQL

101 Modelo: NoSQL Visão Modelo Tipos NoSQL {wiki: abc} {test asdf} {url: com} {url: 123} {qa: dfsdfd} {234: 2342} {id: 5248} {e: as, r:eq} Key/value stores Graph database A Document database Column family 1

102 Key-value Store Visão Modelo "Dynamo: Amazon's Highly Available Key-Value Store"[2007] Modelo de Dados: mapeamento global key-value altamente tolerante a falha Armazenamento de dados distribuído Altamente disponível Produtos: 2341 {wiki: abc} 4324 {test asdf} 4234 {url: com} 5273 {url: 123} 7456 {qa: dfsdfd} 6421 {234: 2342} 5248 {id: 5248} 2342 {e: as, r:eq} Key/value stores Riak, Redis, Voldemort, Dynamo, Berkeley DB, MemcacheDB,

103 Column Family Google's "Bigtable: A Distributed Storage System for Structured Data"[2006] Visão Modelo Data Model: grande tabela, com familia de colunas map-reduce para consultas e processamento modelo compacto e flexível 1 1 Produtos: HBase, HyperTable, Cassandra, SimpleDB, Cloudata, Cloudera, SciDB, Column family

104 Document Family Modelo de Dados: Coleção de Documentos Um documento é uma coleção de key-value Centrado a índice, vários map-reduce Produtos: Visão Modelo MongoDB, CouchDB, RavenDB, A

105 Graph Family Modelo de Dados Nós com propriedades Relacionamentos com propriedades Hipergrafos Produtos Neo4, SonesGraphDB, OrientDB, Sones, HyperGraphDB, Virtuoso, VertexDB, Visão Modelo Graph database

106 Modelo: não convencionais Visão Modelo Tipos Transações Longas Controle de Versões Espaço-Temporais Baseado em Restrições

107 Ecossistema dos SGBD Visão T

108 Ecossistema dos SGBD Visão

109 Big Data x SGBD Visão

110 Big Data Visão

111 Big Data Visão Grande volume de dados na ordem de dezenas/centenas de TB Modelo flexível para armazenamento de dados complexos armazenados em clusters de processadores de baixo custo requer alto poder computacional para processamento, manipulação e armazenamento de dados tipos de dados variados, complexos e/ou semiestruturados e.g., projeto Square Kilometre Array (SKA) envolve a construção do maior radio telescópio que irá gerar até 1500 PBytes diariamente e.g., Facebook tem 2700 nós em seu cluster com 60PB de armazenamento (2011) poder de crescimento elástico horizontal Alocação/desalocação de recursos de hardware/software sob demanda da aplicação

112 Big Data (3V 4V 5V) Volume Velocidade Ordem de TB diários Alta taxa de geração e Transmissão de dados Variedade Estruturado (logs, transações de negócios) Semi-estruturado e não estruturado Maldição da dimensionalidade! Visão

113 Big Data(3V 4V 5V) Visão Big Data (3V)

114 Big Data(3V 4V 5V) Big Data 4 V Veracidade (ou Valor) Respostas rápidas x resultados confiáveis Visão

115 Big Data Big Data 5 V Variabilidade Interpretação diferente Mineração de padrões, tendências e relacionamentos Visualização diferente Visão

116 Big Data Volume LSST Large Synoptic Survey Telescope Dados gerais: 20 Terabytes de imagens astronômicas todas as noites Petabytes após 10 anos Petabytes (Banco de Dados) 2-10 milhões de novos eventos no céu toda noite para serem classificados 8.4 meter diameter primary mirror = 10 square degrees! Hello! Petabyte image archive Petabyte database catalog

117 Big Data Volume Large Hadron Collider 700MB por seg, 60TB/dia, 20PB/ano Illumina HiSeq 2000 Sequencer ~1TB/dia Maioria dos laboratórios possuem dessas máquinas

118 Big Data Volume A World Wide Web tem 20+ bilhões páginas x 20KB = 400+TB Um computador pode ler MB/seg do disco => 4 meses para ler a Web

119 Big Data Velocidade

120 Big Data Velocidade

121 Big Data Velocidade x Volume Visão Quantidade de dados no Mundo Até bilhões de gigabytes (exabytes) Em 2011 a mesma quantidade era gerada a cada 2 dias. Em 2013, a mesma quantidade era gerada a cada 10 minutos Previsão de crescimento de 1000x em 10 anos e 1,000,000x em 20 anos. (

122 Big Data Variedade Internet das coisas (ubiquidade) Visão

123 Big Data x SGBD Visão Duas abordagens principais: SGBDR Paralelos Ferramentas NoSQL 123 /132

124 Big Data x SGBD x Usuários Visão Cientista de Dados

125 Big Data x SGBD x Usuários Visão Cientista de Dados Data scientist jobs Indeed.com

126 Big Data x SGBD x Usuários Cientista de Dados

127 Big Data x SGBD x Usuários Cientista de Dados

128 Big Data x SGBD x Usuários Cientista de Dados = X-informata Domínio de Informática Domínio do contexto de negócio Ex: Físico-informata Médico-informata Bio-informata Genético-informata Informata-informata!

129 Ambiente dos SGBD Visão Ambiente Poliglota Demandas do contexto Big Data está alterando paradigmas Postura early adoption Protótipo/produto Aproximação Mercado x Ciência Os dois contextos têm o mesmo problema Influência das redes sociais

130 Ambiente dos SGBD Visão Ambiente Poliglota várias linguagens de programação vários produtos de armazenamento vários modelos de dados Várias ferramentas de análise

131 Ambiente dos SGBD Visão Maior intersecção entre papéis do Programador DBA Gerente de Dados Estatístico X-informata

132 Referências [Ambler2001] Ambler, S.W.; The Object Primer: Introduction to techniques for Agile Modeling ; Ronin International; Brayner, A.; Aplicações Avançadas de Banco de Dados ; UNIFOR; Salgado, A. C.;Banco de Dados; UPFE; Lóscio, B. F.;Banco de Dados Pós-Relacionais; DI-UFPe; Ferreira, K. R.; Introdução a Geoprocessamento ; INPE;2009.